【工作內(nèi)容】
1、負(fù)責(zé)數(shù)據(jù)清洗、ETL 任務(wù),編寫高效腳本處理結(jié)構(gòu)化數(shù)據(jù)。
2、優(yōu)化離線 / 實(shí)時數(shù)據(jù)處理流程,提升任務(wù)執(zhí)行效率。
3、開發(fā)分布式計算程序(如 Spark/Flink),處理海量數(shù)據(jù)。
4、設(shè)計數(shù)據(jù)接口,支持業(yè)務(wù)方數(shù)據(jù)需求。
5、會分布式爬蟲技術(shù)。
【崗位要求】
1、精通 Spark,熟悉 Flink 者優(yōu)先;
2、熟練掌握 Scala/Java/Python 至少一種開發(fā)語言;
3、必須具備供應(yīng)鏈相關(guān)項目數(shù)據(jù)開發(fā)經(jīng)驗,旅游行業(yè)背景優(yōu)先;
4、具備離線數(shù)倉從 0 到 1 建設(shè)經(jīng)驗,熟悉分層建模與復(fù)雜模型設(shè)計;
5、有 BI 報表開發(fā)經(jīng)驗(永洪/帆軟等)者加分;
6、熟練掌握 SQL 及性能優(yōu)化,有 StarRocks/Doris/Greenplum/Oracle 等經(jīng)驗者優(yōu)先;
7、熟悉 Iceberg 或有數(shù)據(jù)湖實(shí)踐經(jīng)驗者優(yōu)先。
8、至少會一種分布式爬蟲技術(shù)。