工作職責(zé)
1.負(fù)責(zé)項(xiàng)目的模型部署工作,并具備開源項(xiàng)目的二次開發(fā)能力,按照公司需求進(jìn)行定制。
2.負(fù)責(zé)各類模型在國產(chǎn)GPU上的適配工作。
3.負(fù)責(zé)國產(chǎn)GPU虛擬化技術(shù)驗(yàn)證實(shí)施工作。
4.參與大模型的量化壓縮和推理加速工作,致力于實(shí)現(xiàn)極致速度和精度。
5.分析并解決模型部署中的性能瓶頸,同產(chǎn)品團(tuán)隊(duì)緊密協(xié)作推動(dòng)大模型產(chǎn)品落地。
6.持續(xù)關(guān)注并探索新的部署、量化和加速技術(shù),推動(dòng)團(tuán)隊(duì)的技術(shù)創(chuàng)新。
任職要求
1.本科及以上學(xué)歷,計(jì)算機(jī)科學(xué)、軟件工程、自動(dòng)化或相關(guān)專業(yè)。
2.熟悉常見國產(chǎn)算力卡的開發(fā)框架,如晟騰CANN。
3.熟悉常見開源模型的性能與算力需求,對(duì)開源模型選型,測(cè)試模型性能,持續(xù)優(yōu)化部署方案,以提高模型的準(zhǔn)確性和響應(yīng)速度。
4.編程語言:熟練使用python編程,熟悉使用至少一種深度學(xué)習(xí)框架,如 pytorch、tensorflow等。
5.其他要求:有大型項(xiàng)目管理和團(tuán)隊(duì)管理經(jīng)驗(yàn)者優(yōu)先,具備國產(chǎn)服務(wù)器環(huán)境開發(fā)實(shí)施部署經(jīng)驗(yàn)者優(yōu)先?,具有電力行業(yè)從業(yè)經(jīng)驗(yàn)者優(yōu)先