大規模言語モデル - 事前学習エンジニア

3ヶ月
本採用と同条件

【Job Description】
Preferred Networksでは大規模言語モデル（LLM）を中心としたマルチモーダルな基盤モデルの開発を進めています。LLM・生成AIの基盤モデル開発に加え、エンタメ、科学計算、ロボットといった自社事業領域を強化する形での導入を目指した応用開発や、多様な産業への応用研究も行っています。

事前学習チームの役割は、LLMの大規模な事前学習を行い、高性能な事前学習モデルを構築することです。事後学習を終えた後のモデルが実用的で価値の高いものとなるようにLLMに知識や能力を学習させる必要があります。
強化学習などの手法の発展により、LLMは事後学習によって様々な能力を発揮させることができるようになっている一方で、事前学習で全く学習できていない能力を事後学習で発揮させることは難しいという報告もあります。事後学習で高い性能を発揮させるためには、事前学習での取り組みも重要です。

大規模言語モデル - 事前学習エンジニアは、高性能なLLMの事前学習のために必要な研究開発に取り組みます。事前学習モデルの最終的な性能を決めることになるデータセット・モデルアーキテクチャ・学習手法の研究開発以外にも、大規模・長期間の学習を効率よく安定して実行し続けるための取り組みなども行っています。

▼業務例
・事前学習において、大量の計算資源を効率良く用いるための最適化やソフトウェアの研究開発
・長期間の学習を安定して動作させるための研究開発や運用
・事前学習モデルの性能を正しく計測するための研究開発
・事前学習モデルの性能を向上させるためのデータセットに関する研究開発
・事前学習モデルの性能を向上させるための学習手法（DNNアーキテクチャやoptimizerなど）の研究開発

実際の業務はこれに限定されるものではありません。入社後に実際にご担当いただく業務内容は、専門的知識・経験を考慮のうえ決定します。

事前学習LLMの開発に携わりたい方、熱意のある方のご応募をお待ちしています。

【Qualifications】
・コンピュータサイエンスの知識や関心
　- コンピューターサイエンスのすべての分野への精通を目指し、常に最先端の技術を追いかけ続けていること
　- 特に、機械学習または自然言語処理に関する研究または実務の経験および実績
・Pythonを使ったソフトウェア開発経験
　- コンピューターアーキテクチャーを理解し、ソフトウェアの実効効率や、計算量を意識したプログラムの作成が出来ること
・数学、自然科学（物理、化学など）に関する、大学卒業程度の知識（もしくは学習により習得可能なこと）
・チームでの課題解決の経験

【Preferred Qualifications】
・データセットやベンチマークなどの作成経験
・DNNの分散学習を行った経験
　- 大規模なGPUクラスタを利用した際のトラブルシューティングなどの経験
　- 速度性能ボトルネックの改善経験
・大規模なデータ前処理の経験
・機械学習OSSへのコントリビューション経験
・プログラミング競技コンテスト、ゲームAIコンテスト、データ分析コンテスト（Kaggleなど）などの実績・経験
・研究に対する優れた実績
・開発プロジェクトにおける3名以上のチームのリーダーシップ経験

東京都千代田区大手町1-6-1大手町ビル
最寄駅：【最寄り駅】各線 大手町駅から徒歩1分
各線 東京駅から徒歩6分

特記事項：昇給あり　年2回の人事評価及び会社業績に基づいて決定
賞与あり　年2回の人事評価及び会社業績に基づいて決定
経験、業績、能力、貢献に応じて、当社規定により優遇

特記事項：専門労働型裁量労働制（みなし労働時間：8時間）もしくはフレックス制

土曜日、日曜日、国民の祝日、国民の休日、年末年始、当社規定による年次有給休暇制度（入社時26日付与）、育児休暇、慶弔休暇など

健康保険,厚生年金保険,労災保険,雇用保険
交通費：通勤費支給
諸手当：通勤手当、在宅勤務手当
特記事項：【福利厚生】
・確定拠出年金制度
・ラップトップPC購入補助
・定期健康診断実施

【受動喫煙防止情報】
屋内受動喫煙対策：対策あり

即日スタート  経験者優遇  駅から徒歩5分以内  土日祝日休み  交通費支給  社会保険完備  育児支援制度  退職金制度  賞与あり