崗位描述:
1.精通Hadoop、Spark、Flink等直流大數(shù)據(jù)框架,熟悉Kafka信息隊(duì)列、Flink等數(shù)據(jù)同步工具,能獨(dú)立完成海量數(shù)據(jù)的采集、清晰、加工與分心;
2.熟練使用多種數(shù)據(jù)存儲(chǔ)技術(shù);
3.熟悉元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管控、數(shù)據(jù)血緣追蹤等實(shí)現(xiàn)方式;
4.熟練使用Hive\ClickHouse/Doris等儲(chǔ)蓄引擎,具備復(fù)雜SQL編寫與調(diào)優(yōu)能力,掌握數(shù)據(jù)倉(cāng)庫(kù)分層建模思路,能支撐業(yè)務(wù)數(shù)據(jù)報(bào)表與分析需求;
5.熟悉Shell腳本編寫及DolhinScheduler等任務(wù)調(diào)度工具,具備大數(shù)據(jù)任務(wù)故障排除、性能優(yōu)化經(jīng)驗(yàn)。
崗位要求:
1.大學(xué)本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè)畢業(yè),5年以上開發(fā)經(jīng)驗(yàn);
2.熟練使用JAVA等朱玲開源框架,熟練使用Python等開源框架;
3.熟練使用各類數(shù)據(jù)庫(kù)、中間件,掌握底層原理,中間件包括Mysql、Redis、Minlo、Opensearch、ES、Kafka等;
4.熟悉分布式系統(tǒng)的設(shè)計(jì)和應(yīng)用,熟悉分布式、緩存、消息等機(jī)制;
5.有大數(shù)據(jù)中臺(tái),并且在低代碼平臺(tái)獨(dú)立開發(fā)部署經(jīng)驗(yàn);
6.良好的溝通能力與表達(dá)能力、團(tuán)隊(duì)協(xié)作能力、學(xué)習(xí)能力和功課技術(shù)難點(diǎn)的能力;
7.能夠接受短期項(xiàng)目駐場(chǎng)開發(fā)工作。