崗位職責(zé):
1、負(fù)責(zé)醫(yī)療健康領(lǐng)域大模型的SFT,構(gòu)建高質(zhì)量的指令數(shù)據(jù)集,提升模型的任務(wù)執(zhí)行能力。
2、主導(dǎo)設(shè)計醫(yī)療健康大模型強化學(xué)習(xí)訓(xùn)練框架,持續(xù)提升模型在醫(yī)療健康領(lǐng)域的推理能力。
3、設(shè)計和實施全面的模型評測體系,從多維度追蹤模型的迭代效果。
4、跟進(jìn)業(yè)界最新的大模型訓(xùn)練與對齊技術(shù),進(jìn)行預(yù)研和實踐,持續(xù)提升核心模型的能力邊界。
5、負(fù)責(zé)大模型訓(xùn)練加速與推理優(yōu)化,應(yīng)用量化、蒸餾等技術(shù)實現(xiàn)工業(yè)級部署。
6、完成上級安排的相關(guān)工作。
任職要求:
1、計算機相關(guān)專業(yè)本科及以上學(xué)歷,3年以上大模型或NLP相關(guān)技術(shù)研發(fā)經(jīng)驗。
2、具備大語言模型訓(xùn)練的實戰(zhàn)經(jīng)驗,特別是SFT和RL等技術(shù)。
3、有強化學(xué)習(xí)項目實戰(zhàn)經(jīng)驗,熟悉強化學(xué)習(xí)算法從研發(fā)到落地的全流程。
4、精通PyTorch等深度學(xué)習(xí)框架和分布式訓(xùn)練技術(shù)(如DeepSpeed)。
5、對Transformer模型結(jié)構(gòu)有深刻理解,對大模型訓(xùn)練中的數(shù)據(jù)、算法、算力有系統(tǒng)性認(rèn)知。
6、在國際頂會發(fā)表相關(guān)論文者優(yōu)先。
7、對新技術(shù)有強烈的熱愛、好奇心和鉆研精神,具備卓越的團(tuán)隊協(xié)作、溝通和問題解決能力,自驅(qū)、富有責(zé)任心和主人翁精神,極致追求算法創(chuàng)新和產(chǎn)品效果。