崗位職責(zé):
1、負(fù)責(zé)大數(shù)據(jù)平臺(tái)(Hadoop,HBase,Spark、MPP等)集群環(huán)境的性能調(diào)優(yōu)和日常維護(hù);
2、負(fù)責(zé)數(shù)據(jù)架構(gòu)設(shè)計(jì)和優(yōu)化,數(shù)據(jù)的開發(fā)與維護(hù),確保數(shù)據(jù)存儲(chǔ)和處理的穩(wěn)定和效率;
3、熟悉數(shù)據(jù)倉庫建模、ETL設(shè)計(jì)開發(fā),有數(shù)據(jù)質(zhì)量與數(shù)據(jù)治理相關(guān)經(jīng)驗(yàn);
4、理解業(yè)務(wù)需求并提供相應(yīng)的數(shù)據(jù)解決方案。
任職要求:
1、本科及以上學(xué)歷,計(jì)算機(jī)科學(xué)、信息技術(shù)或相關(guān)領(lǐng)域?qū)I(yè);
2、至少5年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn),并具備一定的運(yùn)維經(jīng)驗(yàn);
3、熟練掌握Linux操作系統(tǒng),并熟悉Shell,Python等一種以上的腳本語言,并靈活運(yùn)用到實(shí)際工作中及解決技術(shù)問題;
4、熟練使用SQL,熟練掌握數(shù)倉建模,掌握常用的數(shù)據(jù)建模方法,有實(shí)時(shí)Flink相關(guān)開發(fā)經(jīng)驗(yàn)優(yōu)先;
5、熟練掌握Hadoop、Spark、Hive、Doris、 Flink、 ZK、Kafka、Flume、DataX等一種以上的大數(shù)據(jù)處理工具和技術(shù),有實(shí)際大數(shù)據(jù)處理經(jīng)驗(yàn);
6、掌握Flume、DataX或者Flink,Kafka,HDFS等技術(shù),能夠獨(dú)立完成實(shí)時(shí)、離線數(shù)據(jù)接入工作優(yōu)先;
7、有大數(shù)據(jù)項(xiàng)目管理經(jīng)驗(yàn)者優(yōu)先;
8、有RAG 知識(shí)庫產(chǎn)品/項(xiàng)目業(yè)務(wù)落地和實(shí)際應(yīng)用的經(jīng)驗(yàn)者優(yōu)先。
9、有良好的團(tuán)隊(duì)精神和溝通能力,積極主動(dòng)、熱愛技術(shù)并善于鉆研,責(zé)任心強(qiáng)、能夠承受一定工作壓力。