崗位職責(zé):
1.負(fù)責(zé)具身智能方向的多模態(tài)大模型研發(fā),包括視覺、語音、機器人控制等多模態(tài)感知與認(rèn)知決策模塊的聯(lián)合建模;
2.設(shè)計、訓(xùn)練和優(yōu)化具備語言、圖像、動作、環(huán)境狀態(tài)等多模態(tài)預(yù)訓(xùn)練模型,推動模型的性能和泛化能力提升;
3.探索和研發(fā)多模態(tài)與動作決策的對齊機制,提升模型在真實機器人環(huán)境中的任務(wù)規(guī)劃與控制能力;
4.與機器人平臺團隊協(xié)作,實現(xiàn)模型的實際部署,進行仿真與真實環(huán)境下的驗證與迭代優(yōu)化;
5.跟蹤國際前沿技術(shù)與學(xué)術(shù)成果(如PaLM-E、RT-X、SayCan、Gato、VIMA、MineDojo等),及時推動最新研究成果在團隊內(nèi)部的技術(shù)轉(zhuǎn)化。
任職資格:
1.計算機科學(xué)、人工智能、機器人學(xué)或相關(guān)領(lǐng)域碩士及以上學(xué)歷;
2.具備扎實的深度學(xué)習(xí)、多模態(tài)學(xué)習(xí)、強化學(xué)習(xí)等相關(guān)理論基礎(chǔ);
3.有過多模態(tài)模型的訓(xùn)練經(jīng)驗(如LLaVA,QwenVL, InternVL, PaliGemma等);
4.有過多模態(tài)數(shù)據(jù)集或者測試集的構(gòu)建經(jīng)驗;
5.熟練掌握PyTorch、Jax等主流深度學(xué)習(xí)框架,有大模型訓(xùn)練經(jīng)驗者優(yōu)先;
6.具備優(yōu)秀的編程能力與工程實現(xiàn)能力,能獨立快速搭建原型并迭代;
7.較強的英文文獻閱讀和分析能力,能夠跟蹤和轉(zhuǎn)化前沿科研成果。
優(yōu)先考慮:
1.熟悉機器人仿真環(huán)境和平臺(如MuJoCo、Isaac Gym、Habitat、PyBullet等);
2.發(fā)表過NeurIPS、ICLR、CVPR、ICRA等領(lǐng)域頂級會議或期刊論文;
3.具備實際機器人平臺部署經(jīng)驗(機械臂、移動機器人、服務(wù)機器人等);
4.開源過相關(guān)領(lǐng)域的代碼或工具。
5.有機器人操作學(xué)習(xí)(如模仿學(xué)習(xí)、強化學(xué)習(xí)、BC等)相關(guān)經(jīng)驗,或參與過多模態(tài)(視覺-語言-動作)VLA預(yù)訓(xùn)練大模型研發(fā)者優(yōu)先。