崗位職責:
1.大模型私有化部署優(yōu)化
2.研究INT8、FP16、BF16、4-bit 量化,降低模型計算開銷,結合蒸餾、剪枝進行模型壓縮
3.使用LoRA、QLoRA、AdapterFusion實現(xiàn)高效微調
4.RAG 系統(tǒng)架構設計與開發(fā)
任職資格:
1.大模型deepseek、Qwen等的私有化部署經驗
2.LoRA, QLoRA量化方法的使用經驗
3.模型的推理監(jiān)控分析工具的使用經驗
4.熟悉常用的Embeeding模型及使用經驗
5.熟悉RAGAS評估框架