【崗位職責(zé)】
1、參與具身模型訓(xùn)練： 參與VLM（Vision-Language Model）、VLA（Vision-Language-Action）等具身基礎(chǔ)模型的架構(gòu)設(shè)計、訓(xùn)練、調(diào)優(yōu)、評估與迭代工作，提升模型在視覺感知、語言理解、動作規(guī)劃和泛化能力。
模型研究與跟蹤： 跟蹤和分析業(yè)界主流VLM模型（如CLIP, BLIP, LLaVA等）及相關(guān)多模態(tài)模型的技術(shù)進(jìn)展，結(jié)合具身智能特點，探索創(chuàng)新的模型訓(xùn)練策略和方法。
2、分布式訓(xùn)練框架應(yīng)用與優(yōu)化： 熟練運用分布式VLM模型訓(xùn)練框架（如DeepSpeed, Megatron-LM, PyTorch Distributed等），參與或主導(dǎo)分布式訓(xùn)練流程的搭建、優(yōu)化和維護(hù)，解決大規(guī)模模型訓(xùn)練過程中的性能瓶頸和穩(wěn)定性問題。
3、數(shù)據(jù)工程與增強(qiáng)： 負(fù)責(zé)具身訓(xùn)練樣本的特征工程與數(shù)據(jù)增強(qiáng)工作，包括但不限于圖像、語言、動作等模態(tài)特征的設(shè)計、提取與優(yōu)化，以及針對性的數(shù)據(jù)增強(qiáng)策略，以提高模型的魯棒性和泛化能力。
4、實驗設(shè)計與分析： 設(shè)計并執(zhí)行訓(xùn)練實驗，監(jiān)控訓(xùn)練過程，分析實驗結(jié)果，定位問題并提出改進(jìn)方案，持續(xù)優(yōu)化模型性能。
5、協(xié)作與文檔： 與算法、軟件、數(shù)據(jù)等團(tuán)隊緊密合作，推動模型在實際場景中的應(yīng)用落地。撰寫技術(shù)文檔，分享技術(shù)經(jīng)驗。
【崗位要求】
1、碩士及以上學(xué)歷，計算機(jī)科學(xué)、人工智能、機(jī)器人、自動化、數(shù)學(xué)、統(tǒng)計學(xué)等相關(guān)專業(yè)。
2、有參與VLM（Vision-Language Model）、VLA（Vision-Language-Action）等具身模型訓(xùn)練的實際項目經(jīng)驗，深入理解模型架構(gòu)、訓(xùn)練技巧和評估方法。
3、深入了解至少一種主流VLM模型（如CLIP, BLIP, LLaVA, Flamingo, PALI等）的原理和實現(xiàn)細(xì)節(jié)。
4、熟悉分布式訓(xùn)練框架（如DeepSpeed, Megatron-LM, PyTorch Distributed, FSDP等），有實際使用經(jīng)驗者優(yōu)先，理解數(shù)據(jù)并行、模型并行、流水線并行等技術(shù)。
5、了解具身場景下（如機(jī)器人操作、場景理解）樣本的特點，具備圖像特征（如目標(biāo)檢測、場景理解）、語言特征（如指令解析、常識推理）和動作特征（如軌跡表示、動態(tài)規(guī)劃）的提取與優(yōu)化經(jīng)驗。熟悉數(shù)據(jù)增強(qiáng)技術(shù)，并能針對多模態(tài)數(shù)據(jù)設(shè)計有效的增強(qiáng)策略。
6、精通Python，熟練使用PyTorch或TensorFlow等深度學(xué)習(xí)框架。
7、具備良好的問題分析和解決能力，強(qiáng)烈的求知欲和快速學(xué)習(xí)能力，能夠跟進(jìn)領(lǐng)域內(nèi)最新技術(shù)動態(tài)。8、有機(jī)器人操作系統(tǒng)（ROS）經(jīng)驗，熟悉機(jī)器人仿真環(huán)境（如Gazebo, Isaac Sim）者優(yōu)先。
8、在頂級學(xué)術(shù)會議（如CVPR, ICCV, ECCV, NeurIPS, ICML, ACL, CoRL, RSS等）發(fā)表過相關(guān)論文者優(yōu)先。
9、 具備良好的溝通能力和團(tuán)隊協(xié)作精神，能夠承受一定的工作壓力。