數(shù)據(jù)開發(fā)工程師

1.6-2.5萬

烏魯木齊沙依巴克區(qū)
5-10年
碩士
全職
招1人

職位描述

大數(shù)據(jù)開發(fā)JavaPythonScala

負責通過設計和實施數(shù)據(jù)倉庫架構(gòu)，開發(fā) ETL（Extract Transform Load）流程，構(gòu)建數(shù)據(jù)模型，保障數(shù)據(jù)高效采集、清洗、轉(zhuǎn)換與存儲，為數(shù)據(jù)分析、數(shù)據(jù)應用提供穩(wěn)定的數(shù)據(jù)基礎，助力企業(yè)實現(xiàn)數(shù)據(jù)驅(qū)動的業(yè)務發(fā)展。
崗位職責：
1、負責參與數(shù)據(jù)倉庫架構(gòu)設計與建模，根據(jù)業(yè)務需求和數(shù)據(jù)特點規(guī)劃分層架構(gòu)（如ODS、DWD、DWS等），設計數(shù)據(jù)模型（如星型、雪花模型），并制定數(shù)據(jù)處理與業(yè)務個性化規(guī)范，保障結(jié)構(gòu)合理性、擴展性和規(guī)范性。
2、負責數(shù)據(jù)的采集、清洗和預處理工作，從多種數(shù)據(jù)源（如數(shù)據(jù)庫、日志、API等）進行抽取、去重、錯誤修正與標準化處理，確保數(shù)據(jù)質(zhì)量與可用性。
3、負責ETL流程的設計、開發(fā)與維護，制定數(shù)據(jù)抽取策略和轉(zhuǎn)換邏輯，實現(xiàn)數(shù)據(jù)的高效提取、清洗、轉(zhuǎn)換與加載，保障數(shù)據(jù)的準確性、完整性與一致性。
4、構(gòu)建和維護高效可靠的數(shù)據(jù)管道，實現(xiàn)數(shù)據(jù)從源端到目標系統(tǒng)的穩(wěn)定傳輸，優(yōu)化數(shù)據(jù)處理流程，保障實時性與可擴展性，并實施自動化監(jiān)控與故障處理。
5、負責數(shù)據(jù)倉庫的日常管理、性能監(jiān)控與優(yōu)化，包括索引優(yōu)化、分區(qū)調(diào)整、查詢性能調(diào)優(yōu)等，提升數(shù)據(jù)處理與訪問效率。
6、設計和開發(fā)數(shù)據(jù)服務接口（如RESTful API、WebService等），支持業(yè)務部門與分析團隊的數(shù)據(jù)需求，確保接口穩(wěn)定、安全與易用，并持續(xù)監(jiān)控與優(yōu)化接口性能。
7、參與企業(yè)數(shù)據(jù)平臺（如Hadoop、Spark、Flink等）的部署、維護與優(yōu)化，監(jiān)控資源使用與運行狀態(tài)，處理故障與性能瓶頸，推動技術(shù)升級以提升平臺能力。
8、制定數(shù)據(jù)安全與合規(guī)策略，實施數(shù)據(jù)加密、脫敏與權(quán)限控制，確保數(shù)據(jù)在采集、存儲、傳輸和處理過程中的安全性與合規(guī)性，定期開展合規(guī)檢查與整改。
9、協(xié)同業(yè)務、數(shù)據(jù)分析等部門，理解數(shù)據(jù)需求，提供技術(shù)支持，推動數(shù)據(jù)項目實施，編寫技術(shù)文檔（如數(shù)據(jù)字典、接口文檔、開發(fā)規(guī)范等），并組織技術(shù)分享與知識傳遞。
任職要求：
1、研究生學歷，數(shù)據(jù)科學、計算機科學與技術(shù)、軟件工程、信息管理等相關專業(yè)。5年及以上大數(shù)據(jù)開發(fā)經(jīng)驗，具備獨立負責復雜數(shù)據(jù)項目的能力，有大型數(shù)據(jù)倉庫或大數(shù)據(jù)平臺建設成功案例者優(yōu)先。
2、熟練掌握至少一門編程語言（如Java、Python、Scala），具備良好的編程規(guī)范與大型項目建設經(jīng)驗。
3、精通SQL，能編寫復雜查詢，熟練操作MySQL、PostgreSQL、Oracle等關系數(shù)據(jù)庫，具備海量數(shù)據(jù)ETL處理能力，熟悉NoSQL及GIS數(shù)據(jù)處理者優(yōu)先。
4、精通Hadoop、Spark、Flink、Kafka、Hive等大數(shù)據(jù)組件，熟悉其架構(gòu)與運行機制，具備ETL開發(fā)及平臺運維能力。
5、熟悉數(shù)據(jù)倉庫理論，掌握維度建模方法，具有元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理等相關經(jīng)驗，熟悉Hive、Snowflake、Redshift等工具。
6、熟悉Linux系統(tǒng)及常用Shell命令，能運用Shell進行文本處理與系統(tǒng)操作。
7、了解數(shù)據(jù)安全與合規(guī)要求，熟悉數(shù)據(jù)加密、脫敏及訪問控制機制，具備數(shù)據(jù)清洗、指標開發(fā)、機器學習建模分析能力者優(yōu)先。
8、邏輯清晰，對數(shù)據(jù)敏感，學習與溝通協(xié)作能力強。持有大數(shù)據(jù)相關認證者優(yōu)先，如華為HCIA/HCIP-Big Data、Cloudera CCA/CDP、AWS Certified Data Analytics、Google Professional Data Engineer、CDMP（數(shù)據(jù)管理專業(yè)人士認證）等國內(nèi)外相關認證。

工作地點

烏魯木齊沙依巴克區(qū)新疆軟件園

入職公司信息

入職公司: 某國企
公司地址: 烏魯木齊沙依巴克區(qū)
公司人數(shù): 300-499人

認證資質(zhì)

人力資源服務許可認證

人力資源服務許可證是由國家人力資源與社會保障相關部門頒發(fā)，代表人才經(jīng)紀人所在企業(yè)可以合法開展人力資源相關業(yè)務的資質(zhì)證件。展示該標簽代表該企業(yè)發(fā)布此職位時已上傳《人力資源服務許可證》或《人力資源服務備案證書》并經(jīng)由平臺審驗通過。