国产中文无码av每日更新在线观看, 亚洲天堂中文字幕一区二区三区免费, 国产口爆吞精在线观视频-黄色国产, 92福利-国内精品久久久久久99,亚洲成AV人A片不卡无码,浪潮AV无码专区,老熟女败火白浆,中文字幕日产av,色情日本免费看大片

更新于 今天

大數(shù)據(jù)開發(fā)工程師

8000-10000元
  • 銀川金鳳區(qū)
  • 1-3年
  • 本科
  • 全職
  • 招10人

職位描述

PythonJavaFlinkSparkKafka
1、根據(jù)公司數(shù)據(jù)資產(chǎn)化與智能化應(yīng)用需求,通過構(gòu)建高可用數(shù)據(jù)基礎(chǔ)設(shè)施、保障數(shù)據(jù)鏈路高效穩(wěn)定運行、落地數(shù)據(jù)治理標準,達到支撐企業(yè)數(shù)據(jù)價值釋放、賦能業(yè)務(wù)決策的核心目標;
2、組織/計劃:根據(jù)業(yè)務(wù)需求與技術(shù)發(fā)展趨勢,設(shè)計數(shù)據(jù)倉庫、實時數(shù)倉、數(shù)據(jù)湖的架構(gòu)演進路線圖(如分層模型設(shè)計、計算資源分配);制定ETL開發(fā)規(guī)范、數(shù)據(jù)建模標準(如維度建模)、代碼版本管理規(guī)則等,評估數(shù)據(jù)計算與存儲資源需求(如
Hadoop集群容量),協(xié)調(diào)基礎(chǔ)設(shè)施團隊規(guī)劃資源擴容或優(yōu)化方案;
3、執(zhí)行:完成數(shù)據(jù)采集、清洗、轉(zhuǎn)換、加載(ETL/ELT)全流程開發(fā),保障數(shù)據(jù)鏈路高效穩(wěn)定;基于業(yè)務(wù)場景設(shè)計數(shù)據(jù)表結(jié)構(gòu)(如用戶行為事件表、訂單事實表),編寫SQL/Python代碼實現(xiàn)邏輯;開發(fā)數(shù)據(jù)API、數(shù)據(jù)訂閱服務(wù)、報表底層數(shù)據(jù)集,支持業(yè)務(wù)端數(shù)據(jù)調(diào)用需求;定位并修復數(shù)據(jù)鏈路異常(如數(shù)據(jù)延遲、計算任務(wù)失?。U蠑?shù)據(jù)產(chǎn)出時效性;
4、協(xié)助配合:配合數(shù)據(jù)產(chǎn)品經(jīng)理、數(shù)據(jù)分析師理解數(shù)據(jù)需求邏輯(如復雜業(yè)務(wù)指標拆解),提供技術(shù)可行性評估;協(xié)助數(shù)據(jù)團隊落地數(shù)據(jù)質(zhì)量監(jiān)控規(guī)則、數(shù)據(jù)管理工具部署;
5、審核/審批:審核ETL腳本邏輯合理性、代碼性能,確保開發(fā)質(zhì)量;審核數(shù)據(jù)血緣映射關(guān)系、數(shù)據(jù)一致性校驗規(guī)則,避免臟數(shù)據(jù)進入下游;審批數(shù)據(jù)表、API接口的訪問權(quán)限申請;
6、分析改進:通過日志分析、資源監(jiān)控,優(yōu)化數(shù)據(jù)計算效率;基于故障分析,改進數(shù)據(jù)管道容錯機制;評估新技術(shù)工具的適用性,推動技術(shù)棧升級;
二.任職要求
1.本科及以上學歷,數(shù)據(jù)科學或計算機相關(guān)專業(yè),一年以上經(jīng)驗;
2.熟練掌握 Java、Python 等一種及以上編程語言,有編程實踐經(jīng)驗;
3.熟悉關(guān)系型數(shù)據(jù)庫(如:MySQL、Oracle、SqlServer)、非關(guān)系型數(shù)據(jù)庫(如:MongoDB、Redis)及分布式數(shù)據(jù)庫(如:Doris)的原理與優(yōu)
4.熟悉 Flink、Kafka、Hadoop、Spark、Hive、MapReduce、HBase 等大數(shù)據(jù)技術(shù)棧,并了解其工作原理和應(yīng)用場景;
5.掌握 ETL/ELT 流程設(shè)計,使用工具實現(xiàn)數(shù)據(jù)從數(shù)據(jù)源到數(shù)據(jù)倉庫的抽取、加載和轉(zhuǎn)換,例如:
ETLCloud, Kettle (Pentaho) , Airflow,
Apache NiFi、DolphinScheduler 等;
6.理解數(shù)據(jù)倉庫理論(如 Inmon、Kimball 建模方法),能設(shè)計分層數(shù)據(jù)倉庫(ODS/DWD/DWS/ADS),優(yōu)化數(shù)據(jù)模型以提升查詢效率;
7.掌握數(shù)據(jù)鏈路監(jiān)控工具,能快速定位并修復數(shù)據(jù)延遲、任務(wù)失敗等生產(chǎn)問題;熟悉數(shù)據(jù)質(zhì)量保障方法(如數(shù)據(jù)一致性校驗、血緣追溯),確保數(shù)據(jù)輸出的準確性與可靠性;
8.嚴謹、細密和工作態(tài)度和工作風格,良好的團隊合作精神,較強的內(nèi)部及外部溝通能力,能夠承受較大的工作壓力;
9.有廠商大數(shù)據(jù)認證優(yōu)先;

工作地點

金鳳區(qū)銀川IBI育成中心二期-6號樓601

職位發(fā)布者

薛亞芳/人事專員

剛剛活躍
立即溝通
公司Logo西安銀鑫科技服務(wù)有限公司
西安銀鑫科技服務(wù)有限公司(簡稱“銀鑫科技”)創(chuàng)立于2004年,是一家民營高新技術(shù)企業(yè),主要致力于金融業(yè)計算機軟件應(yīng)用、開發(fā)和咨詢服務(wù)。公司位于西安高新技術(shù)開發(fā)區(qū)西安軟件園區(qū),在不斷開拓創(chuàng)新、提高自身實力的基礎(chǔ)上,依托眾多高校的人才資源,主要致力于金融行業(yè)大、中型應(yīng)用軟件和企業(yè)商務(wù)平臺的開發(fā)和服務(wù);公司已成功開發(fā)了多個軟件系統(tǒng),并在應(yīng)用中受到用戶的肯定與好評。銀鑫科技以其自身嚴謹科學的管理、寬松的工作環(huán)境和技術(shù)創(chuàng)新激勵機制,匯集了眾多銀行軟件開發(fā)和企業(yè)商務(wù)平臺軟件開發(fā)的人才,從而使得公司研發(fā)的系列軟件能更貼近客戶的需求,并以高質(zhì)量、高效率贏得了良好的信譽。銀鑫科技本著“客戶第一、質(zhì)量第一、貼心服務(wù)”的宗旨;依托技術(shù),不斷創(chuàng)新、團結(jié)合作,致力于為客戶提供高效、安全、可靠的技術(shù)服務(wù)。。
公司主頁