崗位職責(zé):
1、負(fù)責(zé)高效、可擴(kuò)展的工程化評(píng)測(cè)工具鏈開發(fā),覆蓋計(jì)算調(diào)度、并行加速、算子庫(kù)等推理全流程,通過自動(dòng)化工具鏈實(shí)現(xiàn)評(píng)測(cè)流程標(biāo)準(zhǔn)化。
2、實(shí)現(xiàn)統(tǒng)一的評(píng)測(cè)流程抽象,支持GPU/NPU/XPU等多種異構(gòu)硬件,支持新型硬件的快速接入。
3、開發(fā)高效評(píng)測(cè)工具(批量任務(wù)發(fā)起模塊、實(shí)時(shí)性能監(jiān)控組件、數(shù)據(jù)解析模塊、自動(dòng)化對(duì)比分析平臺(tái)等),解決評(píng)測(cè)過程中流程差異大、配置繁瑣、結(jié)果難復(fù)現(xiàn)等問題,提升評(píng)測(cè)效率與準(zhǔn)確性。
任職要求:
1、本科及以上學(xué)歷,計(jì)算機(jī)、人工智能、軟件工程等相關(guān)專業(yè),具備大模型開發(fā)或評(píng)測(cè)相關(guān)項(xiàng)目經(jīng)歷者優(yōu)先。
2、優(yōu)秀的代碼實(shí)現(xiàn)與工程落地能力,熟練掌握Python、C++等編程語言,能獨(dú)立完成評(píng)測(cè)工具的設(shè)計(jì)、開發(fā)與調(diào)試;掌握Linux系統(tǒng)開發(fā)環(huán)境,具備Shell腳本編寫和自動(dòng)化工具開發(fā)能力。
3、理解并掌握vllm、sglang等大模型推理框架的技術(shù)原理與實(shí)踐應(yīng)用,具備大規(guī)模推理引擎部署或基于推理框架優(yōu)化評(píng)測(cè)性能的經(jīng)驗(yàn)優(yōu)先。
4、熟悉機(jī)器學(xué)習(xí)核心原理,理解主流大模型(純文本模型、多模態(tài)模型等)的計(jì)算通路,熟悉大模型評(píng)測(cè)方法,具備海量評(píng)測(cè)數(shù)據(jù)處理與評(píng)測(cè)任務(wù)實(shí)施經(jīng)驗(yàn)優(yōu)先。
5、具備良好的硬件知識(shí),熟悉算子庫(kù)的運(yùn)行原理,至少在一種硬件(GPU/NPU/XPU等)上有豐富的構(gòu)建經(jīng)驗(yàn)。