崗位職責(zé):
1、負(fù)責(zé)數(shù)據(jù)中臺(tái)的數(shù)據(jù)采集、數(shù)據(jù)同步 、數(shù)據(jù)建模、數(shù)據(jù)分析等工作;
2、負(fù)責(zé)制定數(shù)據(jù)中臺(tái)相關(guān)的設(shè)計(jì)方案和開(kāi)發(fā)計(jì)劃,并進(jìn)行后續(xù)的方案的落地與實(shí)施;
3、為客戶或項(xiàng)目團(tuán)隊(duì)提供數(shù)據(jù)庫(kù)方面(sql優(yōu)化、Spark等大數(shù)據(jù))技術(shù)支持服務(wù);
4、編寫需求功能詳細(xì)設(shè)計(jì)文檔,并完成數(shù)據(jù)相關(guān)的工作和任務(wù);
職位要求:
1、熟悉主流數(shù)據(jù)庫(kù)(oracle、mysql、hive、gbase)的數(shù)據(jù)開(kāi)發(fā)工作及相關(guān)工具的使用;
2、善于運(yùn)用存儲(chǔ)過(guò)程、函數(shù)等方法批量處理數(shù)據(jù),實(shí)現(xiàn)相關(guān)的業(yè)務(wù)需求;
3、熟悉Liunx/unix操作系統(tǒng),并熟練編寫shell腳本;
4、熟悉編寫表、視圖、存儲(chǔ)過(guò)程等程序,性能問(wèn)題及異常處理,保持程序的穩(wěn)定性和健壯性;
5、熟悉多數(shù)據(jù)庫(kù)間的數(shù)據(jù)同步方法及相關(guān)工具的使用;
6、熟練掌握Hadoop框架及技術(shù),如SparkCore、Hbase、Hive、HDFS、Kudu、Impala、Yarn等;
7、熟悉大數(shù)據(jù)ETL工具及技術(shù),如Sqoop、SparkStreaming、Kafka、Flink等;
8、熟悉大數(shù)據(jù)常用開(kāi)發(fā)語(yǔ)言,如Java、Scala、Python等;
9、對(duì)Hadoop性能環(huán)境調(diào)優(yōu)有深入了解;
10、大學(xué)本科;計(jì)算機(jī)、數(shù)學(xué)或計(jì)算機(jī)相關(guān)專業(yè)學(xué)歷;
11、具有良好的溝通能力、較強(qiáng)的團(tuán)隊(duì)協(xié)作精神和責(zé)任心、能夠承受一定壓力、有較強(qiáng)的自我學(xué)習(xí)能力;
12、有大型Hadoop項(xiàng)目開(kāi)發(fā)、實(shí)施經(jīng)驗(yàn)者優(yōu)先;有數(shù)據(jù)中臺(tái)經(jīng)驗(yàn)者優(yōu)先;有g(shù)base mpp數(shù)據(jù)庫(kù)使用經(jīng)驗(yàn)優(yōu)先;
13、編程與框架掌握:
精通至少一種流式計(jì)算框架,如Apache Flink、Apache Storm或Kafka Streams等,并具備使用這些框架進(jìn)行實(shí)時(shí)數(shù)據(jù)處理和分析的能力。
精通Java、Python或Scala等編程語(yǔ)言,并能編寫高效、可維護(hù)的實(shí)時(shí)計(jì)算程序。
14、數(shù)據(jù)處理能力:
具備對(duì)大規(guī)模、高并發(fā)的數(shù)據(jù)流進(jìn)行高效處理的能力,包括數(shù)據(jù)清洗、轉(zhuǎn)換、聚合等操作。
熟悉常見(jiàn)的數(shù)據(jù)結(jié)構(gòu)和算法,能夠針對(duì)特定業(yè)務(wù)場(chǎng)景選擇合適的數(shù)據(jù)處理策略。
15、系統(tǒng)設(shè)計(jì)與優(yōu)化:
能夠根據(jù)業(yè)務(wù)需求設(shè)計(jì)合理的實(shí)時(shí)計(jì)算系統(tǒng)架構(gòu),包括數(shù)據(jù)流設(shè)計(jì)、組件選型、資源分配等。
了解性能調(diào)優(yōu)和故障排查的技巧,能夠優(yōu)化實(shí)時(shí)計(jì)算系統(tǒng)的性能和穩(wěn)定性。
16、實(shí)時(shí)分析與建模:
具備使用流式計(jì)算進(jìn)行實(shí)時(shí)數(shù)據(jù)分析和建模的能力,包括大跨度統(tǒng)計(jì)分析、時(shí)間序列分析、機(jī)器學(xué)習(xí)模型在線更新等。
能夠根據(jù)業(yè)務(wù)需求設(shè)計(jì)并實(shí)現(xiàn)實(shí)時(shí)預(yù)警、監(jiān)控和決策支持等功能。
職位福利:五險(xiǎn)一金、年底雙薪、績(jī)效獎(jiǎng)金