【崗位職責(zé)】
1. 負(fù)責(zé)深度學(xué)習(xí)/機(jī)器學(xué)習(xí)模型在端側(cè)設(shè)備(如安卓、iOS)的部署與優(yōu)化。
2. 設(shè)計(jì)并實(shí)現(xiàn)模型從 ONNX 格式到端側(cè)設(shè)備推理框架的轉(zhuǎn)換與適配,如 TVM、ncnn、MNN、CoreML 等。
3. 針對(duì)移動(dòng)端的硬件資源,優(yōu)化模型推理速度、內(nèi)存占用和功耗,提升設(shè)備運(yùn)行效率與響應(yīng)速度。
4. 與算法團(tuán)隊(duì)協(xié)作,進(jìn)行模型量化、剪枝等優(yōu)化,確保端側(cè)設(shè)備的推理效果與性能。
5. 解決端側(cè)部署中的性能瓶頸、兼容性問題,保證系統(tǒng)的穩(wěn)定性與可靠性。
【任職要求】
1. 熟悉C++,能夠在移動(dòng)端環(huán)境下進(jìn)行開發(fā)與調(diào)試。
2. 熟悉將 ONNX 格式的深度學(xué)習(xí)/機(jī)器學(xué)習(xí)模型轉(zhuǎn)換為適用于端側(cè)設(shè)備的格式,了解 ONNX 轉(zhuǎn)換到 TVM、ncnn、MNN等推理引擎的過程與技術(shù)。
3. 熟悉端側(cè)推理框架,如 TVM、ncnn、MNN、CoreML,具有模型部署經(jīng)驗(yàn)。
4. 理解并能實(shí)際應(yīng)用模型量化(如 INT8、混合精度)技術(shù),優(yōu)化端側(cè)推理性能。
5. 具備較強(qiáng)的分析與問題解決能力,能夠有效進(jìn)行性能調(diào)優(yōu)與優(yōu)化。
【加分項(xiàng)】
1. 有 LLM 模型在端側(cè)(如 llama.cpp, MLC)部署經(jīng)驗(yàn)者優(yōu)先。
2. 熟悉 iOS 和安卓平臺(tái)的硬件架構(gòu),并能根據(jù)不同平臺(tái)的特點(diǎn)進(jìn)行模型優(yōu)化,如蘋果 CoreML、安卓 NNAPI、Vulkan/OpenCL 等。