崗位職責(zé):
1. 模型訓(xùn)練與優(yōu)化
負(fù)責(zé)大模型的后訓(xùn)練/預(yù)訓(xùn)練和精調(diào)工作、開展微調(diào)、提示工程、低資源訓(xùn)練等技術(shù)研究、深入研究類O1等先進(jìn)后訓(xùn)練技術(shù)、利用RLHF等強(qiáng)化學(xué)習(xí)方法優(yōu)化模型性能、研究模型蒸餾、壓縮及量化技術(shù)、負(fù)責(zé)模型性能評估與調(diào)優(yōu)
2. 數(shù)據(jù)處理與管理
負(fù)責(zé)領(lǐng)域數(shù)據(jù)的收集、清洗、標(biāo)注及增強(qiáng)、開發(fā)和維護(hù)語料處理流程、制定數(shù)據(jù)策略,利用遷移學(xué)習(xí)、數(shù)據(jù)增強(qiáng)等手段、監(jiān)控分析數(shù)據(jù)對模型性能的影響、建立知識體系,研究知識與大模型的集成方法
3. 技術(shù)創(chuàng)新與研發(fā)
探索后訓(xùn)練在多模態(tài)數(shù)據(jù)、跨語言應(yīng)用、領(lǐng)域適配等方面的應(yīng)用、研究前沿大模型相關(guān)技術(shù)、提出創(chuàng)新解決方案、搭建和優(yōu)化大模型訓(xùn)練框架
4. 業(yè)務(wù)落地與協(xié)作
針對通信行業(yè)深度挖掘需求,制定解決方案、推動(dòng)技術(shù)成果向產(chǎn)品形態(tài)轉(zhuǎn)化、與算法團(tuán)隊(duì)和產(chǎn)品團(tuán)隊(duì)合作制定迭代計(jì)劃、與工程團(tuán)隊(duì)協(xié)作完成模型部署和監(jiān)控、確保模型在生產(chǎn)環(huán)境中穩(wěn)定運(yùn)行
5. 性能提升與應(yīng)用優(yōu)化
提升模型在行業(yè)場景中的表現(xiàn)、優(yōu)化模型生成質(zhì)量、對話交互能力及穩(wěn)定性、加強(qiáng)模型的自適應(yīng)性和泛化能力、解決大規(guī)模應(yīng)用中的性能瓶頸。
任職要求:
1、教育與專業(yè)背景
1)計(jì)算機(jī)、軟件工程、人工智能、數(shù)學(xué)或相關(guān)專業(yè)的碩士及以上學(xué)歷(博士優(yōu)先)。10年以上工作經(jīng)驗(yàn)。
2)具備扎實(shí)的機(jī)器學(xué)習(xí)、深度學(xué)習(xí)理論基礎(chǔ),對大模型以及NLP、CV、多模態(tài)等相關(guān)領(lǐng)域有深入了解。
2、后訓(xùn)練技術(shù)能力
1)至少3~5年在大型深度學(xué)習(xí)模型或預(yù)訓(xùn)練模型(GPT、BERT等)領(lǐng)域的研發(fā)經(jīng)驗(yàn),有“模型微調(diào)、量化、蒸餾、提示工程”等實(shí)踐經(jīng)驗(yàn)者優(yōu)先。
2)熟悉類O1等先進(jìn)后訓(xùn)練技術(shù),對其在不同業(yè)務(wù)場景的適用性與局限性有實(shí)際應(yīng)用或項(xiàng)目經(jīng)驗(yàn)。
3、強(qiáng)化學(xué)習(xí)與模型優(yōu)化
1)扎實(shí)的強(qiáng)化學(xué)習(xí)基礎(chǔ),熟悉RLHF(基于人類反饋的強(qiáng)化學(xué)習(xí))在大模型后訓(xùn)練過程中的應(yīng)用。
2)能夠定義并實(shí)施強(qiáng)化學(xué)習(xí)策略以優(yōu)化生成質(zhì)量、對話交互和模型穩(wěn)定性,有相關(guān)項(xiàng)目交付經(jīng)驗(yàn)。
4、數(shù)據(jù)處理與管理
1)具備大規(guī)模數(shù)據(jù)收集、清洗、標(biāo)注以及數(shù)據(jù)治理能力,熟悉數(shù)據(jù)增強(qiáng)、遷移學(xué)習(xí)等常用方法。
2)能根據(jù)不同業(yè)務(wù)或場景的需求,對數(shù)據(jù)進(jìn)行系統(tǒng)化分析(如數(shù)據(jù)分布、噪聲處理),并制定合理的數(shù)據(jù)策略。
5、模型優(yōu)化與部署
1)熟悉主流深度學(xué)習(xí)框架(如TensorFlow、PyTorch)并能實(shí)現(xiàn)模型蒸餾、壓縮、量化等技術(shù),提升推理效率和資源利用率。
2)具備分布式訓(xùn)練、模型部署、性能監(jiān)控經(jīng)驗(yàn),能夠發(fā)現(xiàn)并解決生產(chǎn)環(huán)境中的瓶頸和異常。
6、創(chuàng)新與研究能力
1)關(guān)注領(lǐng)域前沿技術(shù)(多模態(tài)學(xué)習(xí)、跨語言應(yīng)用、自動(dòng)化測試、形式化驗(yàn)證等),能結(jié)合實(shí)際業(yè)務(wù)場景進(jìn)行靈活創(chuàng)新。
2)在國際頂級期刊/會議發(fā)表過論文或擁有相關(guān)專利者優(yōu)先,具備快速學(xué)習(xí)并輸出成果的能力。
7、加分項(xiàng)
曾主導(dǎo)或深度參與過開源社區(qū)的NLP、RL相關(guān)項(xiàng)目,并具備一定的社區(qū)貢獻(xiàn)或影響力。