職位描述:
1、負(fù)責(zé)利用流批處理、AI 算法模型等技術(shù)對(duì)海量多模態(tài)數(shù)據(jù)進(jìn)行高效處理、存儲(chǔ)、分析&理解&生成等全流程加工&挖掘。
2、負(fù)責(zé)數(shù)倉(cāng)模型的設(shè)計(jì)與開(kāi)發(fā),通過(guò)提供靈活的數(shù)據(jù)分析和億級(jí)別數(shù)據(jù)量的基礎(chǔ)數(shù)據(jù)服務(wù),實(shí)現(xiàn)消費(fèi)數(shù)據(jù)的高效流動(dòng)。
3、負(fù)責(zé) Data+AI 應(yīng)用類產(chǎn)品的研發(fā)與支持,通過(guò)多模態(tài)數(shù)據(jù)的AIGC、RAG 、Agent 等 AI 技術(shù)提升數(shù)據(jù)工程效率及數(shù)據(jù)價(jià)值。
職位要求:
1、計(jì)算機(jī)等相關(guān)本科及以上學(xué)歷,3年以上工作經(jīng)驗(yàn)。
2、熟練掌握 Spark、Flink 等計(jì)算框架,具備豐富的離線批處理與實(shí)時(shí)流計(jì)算項(xiàng)目經(jīng)驗(yàn),有實(shí)際生產(chǎn)環(huán)境的性能優(yōu)化與問(wèn)題解決案例,有良好的Java、Python、Shell 腳本的開(kāi)發(fā)能力,具備良好的代碼規(guī)范和編程習(xí)慣。
3、熟悉Hadoop、Hive、Kafka、HBase、ClickHouse、ElasticSearch、向量數(shù)據(jù)庫(kù)、圖數(shù)據(jù)庫(kù)等大數(shù)據(jù)主流技術(shù)中至少 5 項(xiàng)的技術(shù)架構(gòu)、核心原理及應(yīng)用,熟悉用AI算法模型對(duì)非結(jié)構(gòu)化/多模態(tài)數(shù)據(jù)的高效處理。
4、精通數(shù)據(jù)湖(Paimon)、數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)與落地實(shí)現(xiàn),并支持過(guò)實(shí)際業(yè)務(wù)場(chǎng)景。
5、具備良好的溝通能力、團(tuán)隊(duì)協(xié)作精神和問(wèn)題解決能力。
加分項(xiàng):關(guān)于 AI算法模型 在非結(jié)構(gòu)化&多模態(tài)數(shù)據(jù)處理方面有豐富的實(shí)踐經(jīng)驗(yàn),熟悉 Agentic Data Stack,樂(lè)于在Agent、RAG、Context Engineering等方面深入探索&實(shí)踐,并能持續(xù)關(guān)注Data+AI 技術(shù)發(fā)展。