崗位職責(zé):
1)數(shù)據(jù)平臺建設(shè):設(shè)計并實現(xiàn)高效的數(shù)據(jù)采集、清洗、存儲與處理流程,支撐AI模型訓(xùn)練與業(yè)務(wù)分析需求。
開發(fā)數(shù)據(jù)管道(ETL流程),確保數(shù)據(jù)質(zhì)量、時效性與安全性(如日志數(shù)據(jù)、傳感器數(shù)據(jù)、業(yè)務(wù)系統(tǒng)數(shù)據(jù))。
2)數(shù)據(jù)模型與工具開發(fā):構(gòu)建數(shù)據(jù)倉庫模型(如星型模型、雪花模型),優(yōu)化查詢性能以滿足實時/離線分析需求。
使用Python/Shell編寫自動化腳本,實現(xiàn)數(shù)據(jù)監(jiān)控、異常檢測與日志分析。
3)技術(shù)賦能與協(xié)作:為算法團隊提供高質(zhì)量標(biāo)注數(shù)據(jù)集及特征工程支持。
配合AI產(chǎn)品經(jīng)理完成行業(yè)解決方案中的數(shù)據(jù)需求分析與實現(xiàn)。
4)數(shù)據(jù)治理與優(yōu)化:參與制定數(shù)據(jù)治理規(guī)范(如元數(shù)據(jù)管理、數(shù)據(jù)血緣追蹤)。
推動數(shù)據(jù)資產(chǎn)目錄建設(shè),提升數(shù)據(jù)復(fù)用率與價值挖掘能力。
崗位要求:
1、本科及以上學(xué)歷,計算機科學(xué)、軟件工程、數(shù)據(jù)科學(xué)或統(tǒng)計學(xué)相關(guān)專業(yè)。
2、2年以上數(shù)據(jù)開發(fā)或大數(shù)據(jù)平臺建設(shè)經(jīng)驗,有制造業(yè)、醫(yī)療數(shù)據(jù)處理經(jīng)驗者優(yōu)先。
3、精通SQL(MySQL/PostgreSQL/ClickHouse),熟悉Hadoop/Spark等分布式計算框架。
4、熟悉數(shù)據(jù)建模方法論,能獨立完成復(fù)雜業(yè)務(wù)場景下的數(shù)據(jù)模型設(shè)計。
5、熟練使用Python/Java/Shell進行數(shù)據(jù)處理與腳本開發(fā)。
6、熟悉Kafka、Flink等實時數(shù)據(jù)處理技術(shù)者優(yōu)先。
7、有數(shù)據(jù)湖、數(shù)據(jù)中臺建設(shè)經(jīng)驗,熟悉Delta Lake、Iceberg等技術(shù)。
8、了解AI訓(xùn)練數(shù)據(jù)標(biāo)注工具(如Label Studio、CVAT)及數(shù)據(jù)增強技術(shù)。