崗位職責(zé):
1、主導(dǎo)大模型在線推理系統(tǒng)的性能攻堅(jiān)，構(gòu)建多節(jié)點(diǎn)多GPU的分布式推理架構(gòu)，實(shí)現(xiàn)智能請(qǐng)求調(diào)度算法與異構(gòu)硬件的極致性能調(diào)優(yōu)；
2、設(shè)計(jì)高并發(fā)場(chǎng)景下的負(fù)載均衡方案，構(gòu)建支持動(dòng)態(tài)擴(kuò)展的彈性計(jì)算架構(gòu)，優(yōu)化推理引擎運(yùn)行時(shí)環(huán)境，實(shí)現(xiàn)毫秒級(jí)延遲與高QPS吞吐能力。
3、負(fù)責(zé)端側(cè)大模型量化算法的研究與開發(fā)，包括但不限于低比特量化、混合精度量化等，提升模型推理效率，降低計(jì)算資源消耗
4、 搭建和優(yōu)化大模型量化工具鏈，實(shí)現(xiàn)量化流程的自動(dòng)化和高效化，提高整體研發(fā)效率

任職要求:
1.計(jì)算機(jī)科學(xué)或人工智能相關(guān)專業(yè)，碩士（3年以上工作經(jīng)驗(yàn)）、博士；
2.熟悉大模型MegatronLM/Deepspeed分布式訓(xùn)練框架，深入了解模型量化、蒸餾、剪枝等模型優(yōu)化原理和策略，有文本、語音、以及多模態(tài)模型相關(guān)訓(xùn)練、效果調(diào)優(yōu)經(jīng)驗(yàn)優(yōu)先；
3. 熟悉大模型量化的原理，包含低比特量化、混合精度量化等，熟悉常用量化算法，比如Smoothquant、GPTQ、AWQ等，熟悉端側(cè)使用的量化工具高通（Qnn、AIMet）、聯(lián)發(fā)科（Neural Pilot）；
4.具有獨(dú)立開發(fā)能力以及合作開發(fā)能力，具有較強(qiáng)的團(tuán)隊(duì)精神、良好的溝通協(xié)調(diào)能力、較強(qiáng)的分析和解決問題的能力。