大規模言語モデル事前学習エンジニア

株式会社Preferred Networks

正社員
東京都

募集要項

No.JN00490040

企業名: 株式会社Preferred Networks
職種: オープン・Web・パッケージソフトシステムエンジニア
雇用形態: 正社員
試用期間: 3ヶ月
業務内容: 【Job Description】
Preferred Networksでは大規模言語モデル（LLM）を中心としたマルチモーダルな基盤モデルの開発を進めています。LLM・生成AIの基盤モデル開発に加え、エンタメ、科学計算、ロボットといった自社事業領域を強化するための応用開発や、多様な産業への応用研究も行っています。

事前学習チームの役割は、LLMの大規模な事前学習を行い、高性能な事前学習モデルを構築することです。事後学習を終えた後のモデルが実用的で価値の高いものとなるようにLLMに知識や能力を学習させる必要があります。
強化学習などの手法の発展により、LLMは事後学習によって様々な能力を発揮させることができるようになっている一方で、事前学習で全く学習できていない能力を事後学習で発揮させることは難しいという報告もあります。事後学習で高い性能を発揮させるためには、事前学習での取り組みも重要です。

大規模言語モデル - 事前学習エンジニアは、高性能なLLMの事前学習のために必要な研究開発に取り組みます。事前学習モデルの最終的な性能を決めるデータセット戦略・モデルアーキテクチャ・学習手法の研究開発以外にも、大規模・長期間の学習を効率よく安定して実行し続けるための取り組みなども行っています。

▼業務例
・事前学習において、大量の計算資源を効率良く用いるための最適化やソフトウェアの研究開発
・長期間の学習を安定して動作させるための研究開発や運用
・事前学習モデルの性能を正しく計測するための研究開発
・事前学習モデルの性能を向上させるためのデータセットに関する研究開発
・基盤モデルに獲得させたい知識や能力に応じた学習データの収集・構築の戦略検討および品質管理・運用
・基盤モデルの能力を測るためのベンチマークの調査、必要に応じて新規ベンチマークの構築
・事前学習モデルの性能を向上させるための学習手法（DNNアーキテクチャやoptimizerなど）の研究開発

実際の業務はこれに限定されるものではありません。入社後に実際にご担当いただく業務内容は、専門的知識・経験を考慮のうえ決定します。

事前学習LLMの開発に携わりたい方、熱意のある方のご応募をお待ちしています。

※ハイブリッド勤務（オフィス出社と在宅勤務を組み合わせての勤務）
応募条件: 【Qualifications】
・コンピュータサイエンスの知識や関心
　- コンピューターサイエンスのすべての分野への精通を目指し、常に最先端の技術を追いかけ続けていること
　- 特に、機械学習または自然言語処理に関する研究または実務の経験および実績
・Pythonを使ったソフトウェア開発経験
　- コンピューターアーキテクチャーを理解し、ソフトウェアの実効効率や、計算量を意識したプログラムの作成が出来ること
・数学、自然科学（物理、化学など）に関する、大学卒業程度の知識（もしくは学習により習得可能なこと）
・チームでの課題解決の経験

【望ましい条件／Preferred Qualifications】
・DNNの分散学習を行った経験
・大規模なGPUクラスタを利用した際のトラブルシューティングなどの経験
・速度性能ボトルネックの改善経験
・大規模なデータ前処理の経験
・大規模言語モデルの学習データセットやベンチマークの設計・構築経験
・データ収集・生成・前処理・学習・評価までのパイプラインの構築経験
・機械学習OSSへのコントリビューション経験
・プログラミング競技コンテスト、ゲームAIコンテスト、データ分析コンテスト（Kaggleなど）などの実績・経験
・研究に対する優れた実績
・開発プロジェクトにおける3名以上のチームのリーダーシップ経験
勤務地: 東京都千代田区大手町1-6-1大手町ビル
最寄駅：【最寄り駅】各線大手町駅から徒歩1分
各線東京駅から徒歩6分
給与・報酬: 想定月収0円〜
昇給あり　年2回の人事評価及び会社業績に基づいて決定
賞与あり　年2回の人事評価及び会社業績に基づいて決定
経験、業績、能力、貢献に応じて、当社規定により優遇
※基本給及び固定残業代の金額及び内容については、オファー時に速やかに明示します
就業時間: 専門労働型裁量労働制（みなし労働時間：8時間）もしくはフレックス制
休日・休暇: 休日：土曜日、日曜日、国民の祝日、国民の休日、年末年始
当社規定による年次有給休暇制度（入社時26日付与）
育児休暇、慶弔休暇など
待遇・福利厚生: 交通費：通勤費支給
保険：健康保険,厚生年金保険,労災保険,雇用保険
諸手当：通勤手当、在宅勤務手当
特記事項：
【福利厚生】
・確定拠出年金制度
・ラップトップPC購入補助
・定期健康診断実施

■受動喫煙防止情報■
屋内の受動喫煙対策：対策あり
対策：禁煙
特記事項：無