【崗位職責】:
1.參與企業(yè)級大數(shù)據(jù)平臺的設(shè)計、開發(fā)與持續(xù)迭代,支撐數(shù)據(jù)采集、存儲、計算與服務(wù)化能力建設(shè);
2.基于 Hadoop/Spark/Flink 等生態(tài)組件,開發(fā)和優(yōu)化離線及實時數(shù)據(jù)處理任務(wù);
3.參與數(shù)據(jù)平臺基礎(chǔ)組件(數(shù)據(jù)接入、任務(wù)調(diào)度、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量等)的開發(fā)與工程化落地;
4.配合數(shù)據(jù)分析、算法及業(yè)務(wù)團隊,提升數(shù)據(jù)鏈路的穩(wěn)定性、性能與可擴展性;
5.持續(xù)優(yōu)化數(shù)據(jù)處理效率,推動平臺自動化、標準化和規(guī)范化建設(shè);
任職要求
1.本科及以上學歷,計算機、軟件工程、信息技術(shù)等相關(guān)專業(yè);
2.1–2年大數(shù)據(jù)或后臺開發(fā)相關(guān)工作經(jīng)驗,有數(shù)據(jù)平臺或數(shù)據(jù)倉庫實踐經(jīng)驗者優(yōu)先;
3.扎實的Java/Python至少一門語言基礎(chǔ),具備良好的編碼規(guī)范與工程意識;
4.熟悉Hadoop、Hive、Spark、Flink、Sqoop、Flume等主流大數(shù)據(jù)組件中的一項或多項;
5.熟悉Kafka高吞吐消息系統(tǒng),掌握分區(qū)策略、副本機制及消費組管理,熟悉HBase海量數(shù)據(jù)存儲與RowKey優(yōu)化設(shè)計;
6.熟悉Spark MLlib、Flink ML、Alink等大數(shù)據(jù)AI框架,實現(xiàn)海量數(shù)據(jù)上的模型訓練與實時預(yù)測;
7.對數(shù)據(jù)平臺建設(shè)有清晰認知,具備良好的學習能力和問題拆解能力