【上班時(shí)間】早8:30晚5:30,雙休
【薪資待遇】入職繳納五險(xiǎn)一金,10-12k,可安排線上面試
【工作地點(diǎn)】綿陽市高新區(qū)綿興東路35號(hào)長虹商貿(mào)中心
2年以上,具備完整大數(shù)據(jù)項(xiàng)目全生命周期經(jīng)驗(yàn)者優(yōu)先
有零售、電商、制造、金融、交通等行業(yè)大數(shù)據(jù),項(xiàng)目經(jīng)驗(yàn)者優(yōu)先,熟悉對(duì)應(yīng)行業(yè)業(yè)務(wù)流程與數(shù)據(jù)流轉(zhuǎn)特點(diǎn)
【核心崗位職責(zé)】
1.負(fù)責(zé)離線、實(shí)時(shí)數(shù)據(jù)模型(含ODS、DWD、DWS等層級(jí))的設(shè)計(jì)、開發(fā)與實(shí)現(xiàn),搭建完善的數(shù)據(jù)監(jiān)控體系,及時(shí)排查并解決數(shù)據(jù)開發(fā)及運(yùn)行過程中的各類技術(shù)問題。
2.深入對(duì)接業(yè)務(wù)需求,提供大數(shù)據(jù)技術(shù)解決方案,支撐現(xiàn)有業(yè)務(wù)數(shù)據(jù)處理需求,同時(shí)具備前瞻性,能應(yīng)對(duì)未來業(yè)務(wù)快速增長帶來的海量數(shù)據(jù)處理挑戰(zhàn)。
3.負(fù)責(zé)數(shù)據(jù)質(zhì)量體系的落地執(zhí)行,開展數(shù)據(jù)質(zhì)量問題的分析、追溯、跟進(jìn)及閉環(huán)解決,保障數(shù)據(jù)的準(zhǔn)確性、完整性、及時(shí)性與可靠性。
4.參與大數(shù)據(jù)離線開發(fā)全流程,包括數(shù)據(jù)采集、清洗、轉(zhuǎn)換、加載(ETL)等任務(wù)的設(shè)計(jì)與實(shí)施,優(yōu)化離線計(jì)算性能。
5.配合數(shù)據(jù)治理工作,參與數(shù)據(jù)字典梳理、元數(shù)據(jù)管理等相關(guān)任務(wù),提升企業(yè)數(shù)據(jù)資產(chǎn)價(jià)值。
6.跟進(jìn)大數(shù)據(jù)技術(shù)前沿動(dòng)態(tài),將合適的新技術(shù)、新方法應(yīng)用到實(shí)際工作中,持續(xù)優(yōu)化數(shù)據(jù)處理架構(gòu)與流程。
【核心專業(yè)技能】
1.數(shù)據(jù)倉庫與建模:熟悉數(shù)據(jù)倉庫模型設(shè)計(jì)方法論(如Kimball維度建模),精通數(shù)倉分層(ODS/DWD/DWS/ADS)設(shè)計(jì)理念,具備豐富的數(shù)據(jù)倉庫開發(fā)實(shí)戰(zhàn)經(jīng)驗(yàn);對(duì)數(shù)據(jù)ETL全流程有深刻認(rèn)識(shí),能獨(dú)立完成ETL流程的設(shè)計(jì)、開發(fā)與優(yōu)化。
2.大數(shù)據(jù)組件與工具:精通Hive編程,能編寫復(fù)雜Hive SQL并具備性能優(yōu)化能力;熟悉Hadoop生態(tài)相關(guān)技術(shù)及實(shí)踐經(jīng)驗(yàn),包括但不限于HDFS、MapReduce、HBase、Spark、Flink、Doris、Kafka、Zookeeper、Flume、DataX等;具備海量數(shù)據(jù)加工、處理與分析的實(shí)戰(zhàn)經(jīng)驗(yàn)。
3.編程與腳本開發(fā):掌握至少一門主流編程語言(Java/Scala/Python/Shell等),能熟練運(yùn)用其進(jìn)行大數(shù)據(jù)相關(guān)腳本開發(fā)、任務(wù)調(diào)度及自動(dòng)化工具實(shí)現(xiàn)。
4.性能優(yōu)化與問題排查:深入了解大數(shù)據(jù)在不同場(chǎng)景下的讀寫業(yè)務(wù)流程及優(yōu)化原理,具備Hive/Spark/Flink等組件的性能調(diào)優(yōu)能力;能快速定位分布式系統(tǒng)中的數(shù)據(jù)延遲、計(jì)算瓶頸等問題并給出解決方案。
5.數(shù)據(jù)質(zhì)量與治理:熟悉數(shù)據(jù)質(zhì)量評(píng)估指標(biāo)與管控方法,具備數(shù)據(jù)質(zhì)量問題排查與解決的實(shí)戰(zhàn)能力;了解元數(shù)據(jù)管理、數(shù)據(jù)血緣分析等數(shù)據(jù)治理相關(guān)技術(shù)者優(yōu)先。
【項(xiàng)目經(jīng)驗(yàn)要求】
1.參與過至少1個(gè)完整的大數(shù)據(jù)項(xiàng)目全生命周期(需求分析、方案設(shè)計(jì)、開發(fā)實(shí)施、測(cè)試驗(yàn)收、運(yùn)維優(yōu)化),具備離線+實(shí)時(shí)數(shù)據(jù)開發(fā)項(xiàng)目經(jīng)驗(yàn)者優(yōu)先。
2.有大規(guī)模數(shù)據(jù)倉庫搭建、海量數(shù)據(jù)ETL開發(fā)、實(shí)時(shí)數(shù)據(jù)處理(如Flink/Kafka)相關(guān)項(xiàng)目經(jīng)驗(yàn),能獨(dú)立負(fù)責(zé)核心模塊的設(shè)計(jì)與開發(fā)。
3.具備跨部門協(xié)作經(jīng)驗(yàn),能精準(zhǔn)理解業(yè)務(wù)需求并將其轉(zhuǎn)化為數(shù)據(jù)模型及技術(shù)方案,有業(yè)務(wù)與技術(shù)融合解決實(shí)際問題的項(xiàng)目案例。
4.有大數(shù)據(jù)平臺(tái)性能調(diào)優(yōu)、集群維護(hù)或數(shù)據(jù)治理相關(guān)項(xiàng)目經(jīng)驗(yàn)者加分。
【綜合素質(zhì)要求】
1.對(duì)數(shù)據(jù)敏感,善于從數(shù)據(jù)中發(fā)現(xiàn)潛在問題,具備較強(qiáng)的邏輯分析能力與問題解決能力。
2.具有較強(qiáng)的責(zé)任心、執(zhí)行力與細(xì)節(jié)把控能力,能在規(guī)定期限內(nèi)高質(zhì)量完成工作任務(wù)。
3.具備良好的團(tuán)隊(duì)溝通與協(xié)作能力,能高效對(duì)接業(yè)務(wù)、運(yùn)維等跨部門團(tuán)隊(duì),清晰傳遞技術(shù)方案與工作進(jìn)展。
4.有良好的學(xué)習(xí)能力與自我驅(qū)動(dòng)力,能快速跟進(jìn)大數(shù)據(jù)領(lǐng)域的新技術(shù)、新工具,并應(yīng)用到實(shí)際工作中。
5.具備規(guī)范的文檔編寫習(xí)慣,能獨(dú)立輸出需求分析文檔、設(shè)計(jì)方案、測(cè)試報(bào)告、操作手冊(cè)等。
6.抗壓能力強(qiáng),能適應(yīng)項(xiàng)目緊張期的工作節(jié)奏,積極應(yīng)對(duì)業(yè)務(wù)與技術(shù)層面的各類挑戰(zhàn)。
【加分項(xiàng)】
1.持有大數(shù)據(jù)相關(guān)認(rèn)證,如Cloudera CCA Spark and Hadoop Developer、阿里云ACP大數(shù)據(jù)認(rèn)證、華為HCIA大數(shù)據(jù)認(rèn)證等。
2.具備云原生、K8s等相關(guān)經(jīng)驗(yàn),有大數(shù)據(jù)平臺(tái)容器化部署與運(yùn)維經(jīng)驗(yàn)者優(yōu)先。
3.熟悉MPP數(shù)據(jù)庫(如ClickHouse、Greenplum)、湖倉一體架構(gòu)相關(guān)技術(shù),有實(shí)戰(zhàn)經(jīng)驗(yàn)者加分。
4.具備數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)基礎(chǔ),有結(jié)合業(yè)務(wù)場(chǎng)景落地預(yù)測(cè)建模、用戶畫像等項(xiàng)目經(jīng)驗(yàn)者優(yōu)先。
5.有RAG知識(shí)庫產(chǎn)品/項(xiàng)目業(yè)務(wù)落地經(jīng)驗(yàn),或熟悉DevOps流程、自動(dòng)化測(cè)試工具者優(yōu)先。
6.在技術(shù)社區(qū)有優(yōu)質(zhì)技術(shù)分享,或參與過開源大數(shù)據(jù)項(xiàng)目者加分