崗位職責(zé)：
負(fù)責(zé)大規(guī)模語(yǔ)言模型（LLM）相關(guān)的數(shù)據(jù)處理、清洗和標(biāo)注工作
參與檢索增強(qiáng)生成（RAG）系統(tǒng)的數(shù)據(jù)架構(gòu)設(shè)計(jì)和實(shí)現(xiàn)
開(kāi)發(fā)和維護(hù)Python數(shù)據(jù)處理流水線(xiàn)
構(gòu)建和優(yōu)化向量數(shù)據(jù)庫(kù)及相似性搜索系統(tǒng)
協(xié)助算法團(tuán)隊(duì)進(jìn)行模型訓(xùn)練數(shù)據(jù)的準(zhǔn)備和驗(yàn)證
設(shè)計(jì)和實(shí)現(xiàn)數(shù)據(jù)質(zhì)量監(jiān)控體系
編寫(xiě)技術(shù)文檔和數(shù)據(jù)處理規(guī)范
跟蹤大模型領(lǐng)域最新技術(shù)發(fā)展并應(yīng)用于實(shí)際項(xiàng)目
基本要求：
2年以上數(shù)據(jù)工程或相關(guān)工作經(jīng)驗(yàn)
熟悉大規(guī)模語(yǔ)言模型（LLM）原理和應(yīng)用場(chǎng)景
精通檢索增強(qiáng)生成（RAG）技術(shù)架構(gòu)
熟練掌握Python編程語(yǔ)言及其生態(tài)系統(tǒng)
熟悉常用的數(shù)據(jù)處理和分析工具
技術(shù)技能要求：
大模型相關(guān)技術(shù)，熟悉主流大語(yǔ)言模型（如GPT、BERT、LLaMA等）的原理和應(yīng)用
了解模型微調(diào)（Fine-tuning）和提示工程（Prompt Engineering）
熟悉模型推理和部署流程
了解大模型的局限性和倫理問(wèn)題
精通檢索增強(qiáng)生成（RAG）架構(gòu)原理
熟悉向量數(shù)據(jù)庫(kù)（如Pinecone、Weaviate、FAISS等）
了解文本嵌入（Embedding）技術(shù)和相似性搜索算法
具備信息檢索和知識(shí)圖譜相關(guān)經(jīng)驗(yàn)
熟練掌握Python語(yǔ)言，熟悉常用的庫(kù)和框架（如NumPy、Pandas、Scikit-learn等）
熟悉異步編程和并發(fā)處理
了解數(shù)據(jù)可視化工具（如Matplotlib、Seabana等）
具備構(gòu)建和維護(hù)數(shù)據(jù)處理流水線(xiàn)的經(jīng)驗(yàn)
數(shù)據(jù)處理技能：
精通數(shù)據(jù)清洗、轉(zhuǎn)換和驗(yàn)證技術(shù)
熟悉文本數(shù)據(jù)處理和自然語(yǔ)言處理基礎(chǔ)
具備大規(guī)模數(shù)據(jù)集處理經(jīng)驗(yàn)
了解數(shù)據(jù)隱私和安全保護(hù)措施
數(shù)據(jù)庫(kù)和存儲(chǔ)：
熟悉關(guān)系型數(shù)據(jù)庫(kù)（如MySQL、PostgreSQL）
了解NoSQL數(shù)據(jù)庫(kù)（如MongoDB、Redis）
熟悉向量數(shù)據(jù)庫(kù)和相似性搜索技術(shù)
具備數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖相關(guān)經(jīng)驗(yàn)
其他技能：
熟悉Git等版本控制工具
了解Linux操作系統(tǒng)和Shell腳本
具備良好的代碼規(guī)范和文檔編寫(xiě)能力
了解Docker等容器化技術(shù)
軟技能要求：
具備良好的溝通能力和團(tuán)隊(duì)協(xié)作精神
具有較強(qiáng)的學(xué)習(xí)能力和問(wèn)題解決能力
工作認(rèn)真負(fù)責(zé)，能承受一定的工作壓力
對(duì)人工智能領(lǐng)域有濃厚興趣和熱情
具備良好的英文閱讀能力