崗位要求:
● 本科及以上學(xué)歷,語言學(xué)、心理學(xué)、計算機、認知科學(xué)、哲學(xué)、新聞傳播、教育學(xué)等相關(guān)專業(yè)優(yōu)先;
● 有1年以上內(nèi)容審核、編輯校對、用戶研究、UX評估、測試用例設(shè)計或AI數(shù)據(jù)獎勵建模標注經(jīng)驗;
● 熟悉大語言模型基本概念(如token、prompt、temperature、RLHF流程等);
● 使用過主流大模型(如GPT、Claude、通義千問、文心一言等)并對其優(yōu)缺點有觀察。
● 出色的中文閱讀理解能力,對語言細微差異敏感,具備較強的邏輯分析與批判性思維;
● 對模型輸出的文本回答,有優(yōu)秀的范式理解;
● 對AI倫理、模型安全、內(nèi)容合規(guī)等議題有一定認知,能夠在指導(dǎo)下理解并嚴格執(zhí)行標注規(guī)范,注重細節(jié),責任心強;
● 能熟練使用辦公軟件(如Excel、Google Sheets)及內(nèi)部標注平臺;
● 熟悉大語言模型評測,對大語言模型機理敏感;
● 良好的溝通能力與團隊協(xié)作意識。
工作內(nèi)容:
1. 高質(zhì)量偏好數(shù)據(jù)標注
○ 對同一提示(prompt)下由大語言模型生成的2–4個回復(fù)進行成對或全局排序(ranking),依據(jù)標準判斷哪個回復(fù)更符合人類偏好;
○ 在多維評估維度(如:事實準確性、安全性、指令遵循度等)下進行細粒度打分或分類;
○ 識別并標記模型輸出中的潛在風(fēng)險內(nèi)容,包括但不限于:事實錯誤、偏見歧視、誘導(dǎo)性語言、安全風(fēng)險內(nèi)容等。
2. 標注質(zhì)量保障與反饋閉環(huán)
○ 定期參與標注一致性校準會議,與團隊對齊判斷標準;
○ 主動記錄模糊案例、邊界情況或指南沖突點,提出改進建議;
○ 配合質(zhì)檢流程,接受隨機抽查與回溯評估,確保個人標注準確率 ≥95%(以內(nèi)部標準為準)。
3. 協(xié)作與知識沉淀
○ 與Prompt工程師協(xié)作,理解任務(wù)背景與模型能力邊界,提升標注上下文感知能力;
○ 參與標注文檔(SOP)的撰寫、更新與本地化(中英雙語場景);
○ 必要時撰寫簡要標注理由(justification),用于模型可解釋性分析或人工審核復(fù)盤。
上班時間:早九晚六、周末雙休
薪資:
6800/8200面試定級定薪