多模態(tài)大模型與具身智能的前沿,致力于開發(fā)“會(huì)看、會(huì)說、會(huì)思考、會(huì)行動(dòng)”的智能駕駛系統(tǒng)。將視覺理解、自然語(yǔ)言交互與安全的身體控制策略深度融合,打造能夠與人類自然溝通、理解復(fù)雜場(chǎng)景并執(zhí)行精準(zhǔn)動(dòng)作的機(jī)器人大腦。
崗位職責(zé):
1.設(shè)計(jì)、實(shí)現(xiàn)并優(yōu)化面向智能駕駛的多模態(tài)大模型架構(gòu),重點(diǎn)解決視覺場(chǎng)景理解、語(yǔ)言指令解析與駕駛動(dòng)作生成的端到端學(xué)習(xí)。
2.研發(fā)基于大語(yǔ)言模型的運(yùn)動(dòng)場(chǎng)景認(rèn)知、因果推理、規(guī)劃決策與交互對(duì)話能力。
3.構(gòu)建高質(zhì)量的運(yùn)動(dòng)場(chǎng)景多模態(tài)數(shù)據(jù)集,包括視覺、語(yǔ)言描述、動(dòng)作與軌跡的精確對(duì)齊。
4.設(shè)計(jì)并實(shí)現(xiàn)人機(jī)自然語(yǔ)言交互接口,支持高級(jí)別指令理解和場(chǎng)景問答。
5.深入分析模型在長(zhǎng)尾、復(fù)雜場(chǎng)景下的失敗案例,驅(qū)動(dòng)算法持續(xù)迭代。
任職要求
1.計(jì)算機(jī)科學(xué)、人工智能、機(jī)器人學(xué)、電子工程、車輛工程等相關(guān)專業(yè)的碩士及以上學(xué)歷。 精通深度學(xué)習(xí)、計(jì)算機(jī)視覺、自然語(yǔ)言處理。熟悉Transformer等主流架構(gòu)。
2.具有多模態(tài)大模型(如 VLMs)或機(jī)器人VLA項(xiàng)目的實(shí)際研發(fā)經(jīng)驗(yàn),熟悉OpenAI 等至少一種相關(guān)模型框架。
3.精通Python, 熟練掌握PyTorch或TensorFlow等深度學(xué)習(xí)框架。
4.對(duì)自動(dòng)駕駛(感知、預(yù)測(cè)、規(guī)劃、控制)或機(jī)器人(運(yùn)動(dòng)控制、任務(wù)規(guī)劃)技術(shù)棧有深入理解。
優(yōu)先條件:
1. 擁有自動(dòng)駕駛、機(jī)器人或相關(guān)項(xiàng)目經(jīng)驗(yàn)。
2. 具備駕駛或機(jī)器人相關(guān)大規(guī)模多模態(tài)數(shù)據(jù)集的構(gòu)建、清洗與管理經(jīng)驗(yàn)。
3. 熟悉世界模型、強(qiáng)化學(xué)習(xí)(RL)、模仿學(xué)習(xí)在決策與控制中的應(yīng)用。