前沿算法研究與技術(shù)創(chuàng)新:負責人工智能領(lǐng)域前沿算法研究和創(chuàng)新,重點聚焦LLM、生成式AI、時序類大模型等,探索人類反饋強化學(xué)習、MoE、多模態(tài)、long-context等方向。
模型微調(diào)與優(yōu)化:負責對大語言模型(LLM)進行領(lǐng)域適配微調(diào)(如LoRA、P-Tuning等),提升模型在特定任務(wù)(如對話、文本生成等)上的性能。
數(shù)據(jù)處理與構(gòu)建:清洗、標注和構(gòu)建高質(zhì)量的微調(diào)數(shù)據(jù)集,設(shè)計數(shù)據(jù)增強策略以提升模型泛化能力。
實驗設(shè)計與調(diào)參:設(shè)計微調(diào)實驗方案,調(diào)整超參數(shù)(學(xué)習率、批次大小等),評估模型效果并迭代優(yōu)化。
性能評估與監(jiān)控:使用BLEU、ROUGE等指標評估模型輸出,分析bad case并提出改進方案。
模型對齊:優(yōu)化強化學(xué)習與對齊訓(xùn)練流程,解決大規(guī)模分布式環(huán)境下的效率瓶頸和行業(yè)對齊。
工程化部署支持:協(xié)助將微調(diào)后的模型部署到生產(chǎn)環(huán)境,優(yōu)化推理效率(如量化、剪枝)。
技術(shù)跟蹤與創(chuàng)新:跟進大模型領(lǐng)域最新技術(shù)(如RLHF、Adapter架構(gòu)),探索低成本微調(diào)方案。
任職要求:
技術(shù)背景:計算機、AI相關(guān)專業(yè)碩士及以上學(xué)歷,熟悉PyTorch/TensorFlow框架和Transformer架構(gòu)。
微調(diào)經(jīng)驗:有LLM(如GPT、LLaMA、ChatGLM)微調(diào)實戰(zhàn)經(jīng)驗,熟悉Prompt Engineering和Few-shot Learning。
數(shù)據(jù)處理能力:熟練使用NLP工具(Hugging Face、spaCy),具備文本清洗、標注和分布式訓(xùn)練經(jīng)驗。
編程基礎(chǔ):精通Python,熟悉Linux環(huán)境,能優(yōu)化訓(xùn)練代碼(如混合精度訓(xùn)練、分布式訓(xùn)練)。
工程方向:精通分布式、微服架構(gòu)思想,具有創(chuàng)建生產(chǎn)工程的相關(guān)經(jīng)驗。
問題解決能力:能分析模型欠擬合/過擬合問題,提出數(shù)據(jù)或算法層面的解決方案。
團隊協(xié)作:良好的溝通能力,能與算法、產(chǎn)品團隊協(xié)作落地業(yè)務(wù)場景需求。