崗位職責:
1、負責數據處理與數據標注工作(大模型訓練所需數據的采集、清洗等預處理和質量控制,及數據標注工作);
2、負責python相關的開發(fā)工作;
3、負責模型訓練與微調工作;
4、負責模型評估與優(yōu)化工作;
任職要求:
1、熟練掌握python語言,包括并不限于python的環(huán)境搭建、開發(fā)、部署等;
2、熟悉mysql、redis、kafka、postgresql并能用python需要連接以上中間件進行代碼開發(fā);
3、了解noe4j圖數據庫,能掌握圖數據庫的語言優(yōu)先考慮;
4、了解大語言模型(LLM),具有用python連接大模型進行開發(fā)的經驗,及具備prompt提示工程開發(fā)經驗的優(yōu)先考慮;
5、了解容器化以及流水線相關內容;
6、具有大語言模型(LLM)或大模型的訓練、微調、部署或評估的實際項目經驗優(yōu)先考慮;
7、具有大規(guī)模、高質量數據標注項目的設計、管理或執(zhí)行經驗,熟悉主流標注平臺優(yōu)先考慮;
8、具有設計復雜模型評估方案(尤其是人工評估)的經驗優(yōu)先考慮;
9、熟悉分布式訓練框架(如 DeepSpeed, FSDP, Megatron-LM)或GPU集群管理經驗優(yōu)先考慮。
10、開發(fā)人員最好能在本月中旬入職。