崗位職責(zé):
1. AI智能體算法研發(fā)與系統(tǒng)設(shè)計(jì)
1)主導(dǎo)基于大模型的自主決策、環(huán)境交互、多模態(tài)感知、長(zhǎng)期記憶、工具調(diào)用(Function Calling)與持續(xù)學(xué)習(xí)等核心模塊研發(fā),構(gòu)建可進(jìn)化的智能體系統(tǒng)。
2) 使用 Dify / LangGraph / LangChain / AutoGen 等框架搭建高可用AI Agent工作流,支持多智能體協(xié)作(Multi-Agent Collaboration)與動(dòng)態(tài)任務(wù)調(diào)度。
3) 研發(fā)多模態(tài)智能體(文本+圖像+語(yǔ)音+視頻),實(shí)現(xiàn)跨模態(tài)對(duì)齊(如CLIP-style embedding)與聯(lián)合生成(如LLaVA、Flamingo等架構(gòu))。 優(yōu)化工具調(diào)用(API/函數(shù)調(diào)用)機(jī)制,支持復(fù)雜任務(wù)自動(dòng)化(如數(shù)據(jù)分析+報(bào)告生成+可視化)。
2. 知識(shí)庫(kù)與智能體增強(qiáng)系統(tǒng)
1) 構(gòu)建行業(yè)級(jí)多模態(tài)知識(shí)庫(kù),融合稠密檢索(DPR)+ 知識(shí)圖譜 + 語(yǔ)義路由技術(shù),支持復(fù)雜QA任務(wù)。
2) 開(kāi)發(fā)自定義RAG系統(tǒng),優(yōu)化文檔/表格/公式/視頻幀的聯(lián)合檢索與推理能力。
3) 設(shè)計(jì)記憶管理模塊(如向量數(shù)據(jù)庫(kù)+時(shí)序數(shù)據(jù)庫(kù)混合存儲(chǔ)),實(shí)現(xiàn)長(zhǎng)期上下文保持與動(dòng)態(tài)更新。
3. 大模型訓(xùn)練與優(yōu)化
1) 基于LLaMA、CLIP、Whisper等架構(gòu),實(shí)施多模態(tài)聯(lián)合訓(xùn)練與領(lǐng)域適配。
2) 使用PyTorch/TensorFlow/JAX框架,結(jié)合Megatron-LM/DeepSpeed進(jìn)行千億參數(shù)模型分布式訓(xùn)練。
3) 通過(guò)LoRA/P-Tuning等高效微調(diào)技術(shù),適配垂直場(chǎng)景需求。
4. 工程化落地與性能優(yōu)化
1) 使用FastAPI/Flask構(gòu)建低延遲API服務(wù)(P99延遲<200ms),支持流式響應(yīng)與異步任務(wù)。
2) 部署推理加速方案(vLLM/TensorRT-LLM),優(yōu)化GPU資源利用率。
3) 構(gòu)建多模態(tài)數(shù)據(jù)處理Pipeline(OpenCV/FFmpeg/Librosa),實(shí)現(xiàn)跨模態(tài)特征對(duì)齊。
崗位要求:
1. 熟悉大模型架構(gòu)和算法,具備自主決策、環(huán)境交互、多模態(tài)感知等研發(fā)經(jīng)驗(yàn)。
2. 熟練使用Dify / LangGraph / LangChain / AutoGen 等框架。
3. 具備多模態(tài)智能體研發(fā)經(jīng)驗(yàn),掌握跨模態(tài)對(duì)齊和聯(lián)合生成技術(shù)。
4. 熟悉工具調(diào)用機(jī)制,有復(fù)雜任務(wù)自動(dòng)化經(jīng)驗(yàn)。
5. 精通知識(shí)庫(kù)構(gòu)建和增強(qiáng)系統(tǒng)開(kāi)發(fā)。
6. 熟練使用PyTorch/TensorFlow/JAX等框架進(jìn)行模型訓(xùn)練。
7. 掌握Megatron-LM/DeepSpeed等分布式訓(xùn)練技術(shù)。
8. 熟悉LoRA/P-Tuning等微調(diào)技術(shù)。
9. 有FastAPI/Flask等后端框架開(kāi)發(fā)經(jīng)驗(yàn)。
10. 熟悉推理加速方案和GPU資源優(yōu)化。
11. 具備多模態(tài)數(shù)據(jù)處理Pipeline構(gòu)建經(jīng)驗(yàn)。