工作職責(zé):
? 數(shù)據(jù)管理: 開發(fā)、測(cè)試、監(jiān)控和維護(hù)ETL(抽取、轉(zhuǎn)換、加載)流程,確保數(shù)據(jù)準(zhǔn)確高效地加載到數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市中。
? 數(shù)據(jù)建模: 與BI架構(gòu)師協(xié)作,設(shè)計(jì)邏輯和物理分析數(shù)據(jù)模型。
? 數(shù)據(jù)治理: 創(chuàng)建和維護(hù)數(shù)據(jù)字典與數(shù)據(jù)血緣關(guān)系;解決數(shù)據(jù)質(zhì)量問題并建立數(shù)據(jù)完整性檢查機(jī)制。
? 性能調(diào)優(yōu): 優(yōu)化ETL流程性能,確保數(shù)據(jù)處理和報(bào)告的高效運(yùn)行。
必備技能:
? 學(xué)歷與專業(yè): 本科及以上學(xué)歷,計(jì)算機(jī)、統(tǒng)計(jì)學(xué)、數(shù)學(xué)或相關(guān)理工科專業(yè)。
? 工作經(jīng)驗(yàn): 擁有3年以上大數(shù)據(jù)項(xiàng)目開發(fā)實(shí)施經(jīng)驗(yàn),有服務(wù)日本企業(yè)或Global企業(yè)日本Site數(shù)據(jù)治理、數(shù)據(jù)工程經(jīng)歷。
? 語言能力: 具備良好的日語或英語聽說讀寫能力。
? 編程與數(shù)據(jù)分析: 熟練掌握Python開發(fā)語言及常用框架,并能熟練運(yùn)用NumPy, Pandas, sklearn, 或Matplotlib/Plotly等工具包。
? 數(shù)據(jù)處理與管道: 掌握大數(shù)據(jù)ETL/ELT基本流程,對(duì)數(shù)據(jù)分層有深入理解,并具備設(shè)計(jì)ETL/ELT Pipeline的實(shí)際經(jīng)驗(yàn)。
? 大數(shù)據(jù)技術(shù)棧: 熟練掌握Apache Airflow或類似Pipeline編排工具、SparkSQL的開發(fā)與部署。
? 云平臺(tái)與數(shù)據(jù)工具: 熟悉數(shù)據(jù)倉(cāng)庫(kù)(如AWS Redshift/Snowflake),并具有AWS Glue、Athena、Step Functions,或Databricks、dbt等工具的開發(fā)與配置經(jīng)驗(yàn)。
? 數(shù)據(jù)庫(kù)技能: 至少熟練掌握Oracle(優(yōu)先)、MySQL、PostgreSQL等一種主流關(guān)系型數(shù)據(jù)庫(kù),具備扎實(shí)的SQL腳本編寫能力及SQL性能優(yōu)化經(jīng)驗(yàn)。
? 代碼管理: 熟練使用Git進(jìn)行代碼管理,編寫規(guī)范的代碼與清晰的注釋。
加分技能:
? 具備SAP數(shù)據(jù)集成經(jīng)驗(yàn)者優(yōu)先。
? 熟悉 Tableau、Microsoft Power BI、AWS QuickSight 等至少一種主流商業(yè)智能平臺(tái)。
? 有Databricks, dbt等開發(fā)、配置經(jīng)驗(yàn)。
其他加分項(xiàng):
? 邏輯思維能力強(qiáng),學(xué)習(xí)適應(yīng)力強(qiáng),對(duì)數(shù)據(jù)敏感,重視細(xì)節(jié)
? 具備通過數(shù)據(jù)分析闡明業(yè)務(wù)流程的能力
? 以客戶為中心,具備良好的溝通能力,能夠條理清晰的表達(dá)技術(shù)方案
工作地點(diǎn):大連高新園區(qū) 黃浦路523號(hào)? 豪之英科技大廈