中途_LLMモデル学習・分散学習最適化エンジニア（Fixstars）

株式会社フィックスターズ

正社員
東京都

募集要項

No.JN00505404

企業名: 株式会社フィックスターズ
職種: AIエンジニア・開発
雇用形態: 正社員
業務内容: 【概要】
LLM（大規模言語モデル）の開発における、継続事前学習（CPT）、教師あり微調整（SFT）、
強化学習（RL）の学習実行とパフォーマンス評価・改善を担っていただきます。
実験管理ツールや各種ログから、学習の効率・性能に関するボトルネックを仮説ベースで特定し、モデルのポテンシャルを最大限に引き出すための検証と改善を主導するポジションです。

現在のLLM開発において、多くのエンジニアが直面している課題の一つが「計算資源の不足や、実験の順番待ちによる開発スピードの停滞」です。
どれだけ優れた仮説があっても、検証環境が限られていれば最適なアプローチを見出すことは困難になります。
当プロジェクトの最大のおもしろさは、数十ノード規模の大規模なGPUクラスタ環境を、順番待ちのストレスなく豊富に活用できる点にあります。
本ポジションでは、インフラの構築そのものではなく、この潤沢な計算資源を最大限に活かし、実際のモデル学習を回しながら
評価結果やログを徹底的に分析していただきます。
「データに基づいて仮説を立て、学習の効率化や性能向上に向けた改善を迅速に回す」という、モデル開発の本質的なプロセスに集中して取り組める環境です。

【具体的な職務内容】
・大規模言語モデルの開発における継続事前学習（CPT）、教師あり微調整（SFT）、および強化学習（RL）の学習実行と検証
・WandBなどの実験管理ツールを用いた評価結果の調査、および各種ログ分析に基づく学習効率・性能のボトルネック特定
・特定したボトルネックに対する仮説ベースの改善策（ハイパーパラメータや分散トポロジーの調整等）の立案・検証・適用
・モデル学習の効率化や精度向上に向けた、合成データ生成を含むデータパイプラインの運用と評価
・分散学習フレームワークを用いた、モデルの学習安定性およびメモリ効率化に関する検証・チューニング

【プロジェクトのやりがい】
・計算資源の制約や順番待ちに縛られることなく、自身の立てた仮説に基づく大規模な実験・検証を迅速に実行できる
・評価メトリクスやログといった定量データから「どこが詰まっているか」を紐解き、自身のチューニングによって学習効率やモデル性能が向上していく手応えをダイレクトに実感できる
・継続事前学習から強化学習、データ生成まで、LLM開発のライフサイクル全体における「実行・評価・改善」の高度なノウハウを体系的に蓄積できる

【開発環境】
・開発環境：Python、PyTorch、Megatron-LM ／ Megatron Bridge、NVIDIA-NeMo
・その他開発環境：AWS（EC2、EKS）、AWS ParallelCluster、Slurm、Linux
・開発支援ツール：git、GitHub、Docker、WandB（Weights ＆ Biases）

【リモートワークについて】
一部可
※制度としては週2日までが上限となります。
応募条件: 【必須スキル】
・深層学習モデル（特に大規模モデル）のCPT／SFT／RL等学習実行経験、および実験管理ツールやログ（WandBなど）を用いたパフォーマンス評価・ボトルネックの改善経験
・論理的思考に基づき、課題解決に向けた設計から実装、検証までを自走して遂行できる能力

【歓迎スキル】
・AWS ParallelClusterやSlurmなどのHPC／クラスタ環境を用いた実務経験
・Megatron BridgeやNVIDIA-NeMo／RLなどの先端フレームワークを用いた最適化経験
・CPT、SFT、強化学習（RL／RLHF）のパイプライン構築や、データ処理（合成データ生成等）の効率化に関する知見
・GPU間通信（NCCL等）のチューニングや、インフラレイヤにおけるボトルネック解析の経験
・関連する技術ドキュメントや論文を読み解き、システム設計へ適用できる能力

【求める人物像】
・評価結果やログなどの定量的なデータに基づき、仮説ベースでロジカルにボトルネックを紐解き、改善を繰り返せる方
・高い主体性を持ち、環境の強みを活かして自ら進んで実験・検証を推進できる方
・理論的な理解に留まらず、実際の学習プロセスにおける安定動作や効率化といった「実装の質」にこだわりを持てる方
・自身の専門領域に捉われず、データ、モデル、インフラの繋がりを意識した課題解決を楽しめる方
勤務地: 東京都港区芝浦1-1-1BLUE FRONT SHIBAURA TOWER S 31階
最寄駅：【最寄り駅】各線浜松町駅から徒歩6分
東京臨海新交通臨海線（ゆりかもめ）日の出駅から徒歩7分
都営地下鉄各線大門駅から徒歩11分
給与・報酬: 想定年収600万円〜1010万円
想定月収0円〜
賞与あり　特別賞与：年2回
※スキル・ご経験により応相談

▼エンジニア／シニアエンジニア／アドバンストシニアエンジニア（裁量労働制）
月給：500,000円～725,000円（固定残業代含む）
基本給：405,500円～588,000円（固定残業代は月30時間該当分、94,500円～137,000円を支給）
※超過した場合の時間外労働の残業手当は別途支給

▼リードエンジニア（裁量労働制）
月給：750,100円～841,800円（固定残業代・役付き手当含む）
基本給：357,600円～431,900円+役付き手当250,000円（固定残業代は月30時間該当分、142,500円～159,900円を支給）
※超過した場合の時間外労働の残業手当は別途支給

▼ディレクター（管理監督者）
月給：750,000円～841,700円（役付き手当含む）
基本給：500,000円～591,700円+役付き手当250,000円
※超過した場合の時間外労働の残業手当は別途支給
就業時間: 所定労働時間 8時間（推奨始業時間10：00、終業時間19：00）
※専門業務型裁量労働制により9時間働いたものとみなします
専門業務型
裁量労働制により、9.0時間働いたものとみなされます
休日・休暇: 完全週休2日制（土・日・祝日）、夏季休暇、年末年始休暇
待遇・福利厚生: 交通費：通勤費支給
保険：健康保険,厚生年金保険,労災保険,雇用保険
諸手当：・通勤手当：上限6万円／月
・資格手当
・子供手当：一人につき5千円／月
・社外常駐手当：4万円／月
特記事項：
【諸手当】
社員旅行の旅費・滞在費

【福利厚生】
▼各種制度
・社員持株会制度：持株会奨励金として拠出金額の100％を補助
・社外活動費補助：社外セミナー、勉強会、プログラミングコンテスト、国際学会等の参加費用補助
・語学研修補助：オンライン英会話または日本語レッスン費用の半分を補助
・ビジネススキルアップサポート：MBAやPhDの取得希望者に学費等のサポート
・資格取得補助：業務に関連のある資格に対し、合格奨励金の支給や受験料を補助
・産業医によるメンタルヘルスサポート
・ドリンク補助
・書籍購入補助
・キーボードなどの備品購入補助

▼その他
・「エンジニアが主役」がモットーの会社
・Google Workspaceの各種アプリの他、コミュニケーションツールとしてSlack、プロジェクト管理としてGitLabを全社で利用
・勉強会、社内大学等、エンジニアの活動を奨励する成長支援
・部活動（スキー部、ゴルフ部、テニス部、フットサル部、ボードゲーム部）、おやつタイム、社内新聞などの社内交流文化

■受動喫煙防止情報■
屋内の受動喫煙対策：対策あり
対策：喫煙室あり
特記事項：喫煙専用ルーム