崗位職責(zé):
1、負責(zé)大語言模型(LLM)、多模態(tài)大模型(如GPT、CLIP、LLaMA等)的領(lǐng)域適配與微調(diào)(Fine-tuning);
2、優(yōu)化模型參數(shù)、調(diào)整超參數(shù)配置,解決模型微調(diào)中的過擬合、收斂效率低等問題,確保模型精度與泛化能力;
3、構(gòu)建高質(zhì)量領(lǐng)域語料庫,設(shè)計數(shù)據(jù)清洗、標注、增強方案,開發(fā)自動化數(shù)據(jù)處理工具提升訓(xùn)練數(shù)據(jù)質(zhì)量;
4、探索指令微調(diào)(Instruction Tuning)、人類反饋強化學(xué)習(xí)(RLHF)等技術(shù),提升模型對齊用戶需求的能力;
5、設(shè)計高效微調(diào)方案(Adapter/LoRA/P-tuning),實現(xiàn)分布式訓(xùn)練加速(如DeepSpeed、Megatron-LM),優(yōu)化GPU資源利用率,平衡模型效果與訓(xùn)練成本;
6、開發(fā)模型評估體系,通過Prompt Engineering與數(shù)據(jù)增強提升泛化能力;
7、探索模型壓縮與量化技術(shù),支持邊緣端部署需求。
任職要求:
1、碩士及以上學(xué)歷,計算機科學(xué)、人工智能、數(shù)學(xué)等相關(guān)專業(yè),扎實的機器學(xué)習(xí)與深度學(xué)習(xí)理論基礎(chǔ);
2、3年以上NLP/大模型訓(xùn)練/微調(diào)經(jīng)驗,精通BERT/GPT/T5等架構(gòu);
3、深入理解大模型微調(diào)技術(shù)(如Prompt Tuning、LoRA、P-Tuning),具備多任務(wù)/多模態(tài)模型調(diào)優(yōu)經(jīng)驗;
4、精通Python,熟悉PyTorch/TensorFlow框架,掌握大模型訓(xùn)練工具鏈(如Deepspeed、Accelerate);
5、熟悉主流大模型架構(gòu)(如Transformer、MoE)及開源生態(tài)(Hugging Face、LangChain);
6、熟悉分布式訓(xùn)練、模型并行(Model Parallelism)及混合精度訓(xùn)練優(yōu)化方法;
7、具備扎實的算法功底,能獨立復(fù)現(xiàn)前沿論文方案,參與過千億參數(shù)級模型訓(xùn)練優(yōu)先;
8、在以下至少一個領(lǐng)域有實戰(zhàn)經(jīng)驗:對話系統(tǒng)、知識問答、內(nèi)容生成、搜索推薦、行業(yè)知識圖譜構(gòu)建。