崗位職責(zé):
1.實(shí)現(xiàn)各業(yè)務(wù)系統(tǒng)數(shù)據(jù)進(jìn)入數(shù)倉,并完成ETL相關(guān)工作;
2.對(duì)接業(yè)務(wù)部門關(guān)鍵用戶,完成公司內(nèi)部數(shù)據(jù)報(bào)表與BI的開發(fā)需求落地;
3.優(yōu)化和完善數(shù)據(jù)開發(fā);
4.探索前沿技術(shù),優(yōu)化數(shù)據(jù)開發(fā)流程和體系。
任職資格:
1.本科及以上學(xué)歷,計(jì)算機(jī)、信息管理、數(shù)據(jù)統(tǒng)計(jì)等相關(guān)專業(yè);
2.參與過公司基于Hadoop、Spark等主流開源大數(shù)據(jù)組件的數(shù)據(jù)倉庫,整合超過10TB的業(yè)務(wù)數(shù)據(jù),打通了數(shù)據(jù)采集、加工、監(jiān)控、服務(wù)的全鏈路;
3.熟悉實(shí)時(shí)計(jì)算模塊,能通過Flink/Blink對(duì)接Kafka消息隊(duì)列,實(shí)現(xiàn)10+項(xiàng)業(yè)務(wù)數(shù)據(jù)的實(shí)時(shí)指標(biāo)計(jì)算;
4.熟練運(yùn)用Java基礎(chǔ)框架和Web開發(fā)技術(shù)完成10+個(gè)功能組件的詳細(xì)設(shè)計(jì)和開發(fā)工作;
5.參與過公司的大數(shù)據(jù)項(xiàng)目開發(fā)工作,熟練運(yùn)用Hadoop生態(tài)環(huán)境和工具對(duì)公司日常物流數(shù)據(jù)進(jìn)行了整合、計(jì)算、分析、維護(hù)和優(yōu)化等工作;
6.Hadoop 生態(tài)核心組件:精通 HDFS、MapReduce、YARN 原理與調(diào)優(yōu),熟練運(yùn)用 Hive 進(jìn)行數(shù)據(jù)倉庫建模、復(fù)雜 SQL 開發(fā)及性能優(yōu)化,具備基于 HBase 設(shè)計(jì)高并發(fā)讀寫場(chǎng)景數(shù)據(jù)存儲(chǔ)方案的能力。?
7.數(shù)據(jù)處理工具:熟練使用 Spark Core、Spark SQL、Spark Streaming 進(jìn)行大規(guī)模數(shù)據(jù)處理與實(shí)時(shí)計(jì)算,熟悉 Flink 流處理框架,能根據(jù)業(yè)務(wù)場(chǎng)景選擇合適的處理引擎。?
8.輔助工具:掌握 Kafka 消息隊(duì)列,實(shí)現(xiàn)數(shù)據(jù)的高吞吐量異步傳輸;熟悉 Zookeeper 分布式協(xié)調(diào)服務(wù),保障分布式系統(tǒng)的穩(wěn)定性與一致性。?
9.其他技能:熟悉 Python、Java 開發(fā)語言,具備良好的代碼編寫規(guī)范與調(diào)試能力;了解 Linux 系統(tǒng)操作與常用命令,能進(jìn)行基本的系統(tǒng)管理與維護(hù)。