国产中文无码av每日更新在线观看, 亚洲天堂中文字幕一区二区三区免费, 国产口爆吞精在线观视频-黄色国产, 92福利-国内精品久久久久久99,亚洲成AV人A片不卡无码,浪潮AV无码专区,老熟女败火白浆,中文字幕日产av,色情日本免费看大片

更新于 11月3日

ETL開發(fā)

1.4-2萬
  • 廣州海珠區(qū)
  • 5-10年
  • 本科
  • 全職
  • 招1人

雇員點(diǎn)評(píng)標(biāo)簽

  • 工作環(huán)境好
  • 同事很nice
  • 人際關(guān)系好
  • 團(tuán)隊(duì)執(zhí)行強(qiáng)
  • 氛圍活躍
  • 免費(fèi)班車
  • 管理人性化
  • 準(zhǔn)時(shí)發(fā)工資

職位描述

數(shù)據(jù)開發(fā)FlinkHIVE SQLAIRFLOWIT服務(wù)
一、核心職責(zé):
1、實(shí)時(shí)數(shù)據(jù)處理:
(1)使用 Java 編寫 Flink 數(shù)據(jù)處理邏輯,熟練運(yùn)用 Flink SQL 進(jìn)行流式數(shù)據(jù)開發(fā)。
(2)負(fù)責(zé)處理日均百億級(jí)別的車輛實(shí)時(shí)數(shù)據(jù)流(如車輛狀態(tài)、軌跡、告警等),進(jìn)行實(shí)時(shí)清洗、聚合、風(fēng)控判斷。
(3)將實(shí)時(shí)計(jì)算結(jié)果輸出到 StarRocks、Redis 等查詢引擎和緩存中,保障低延遲數(shù)據(jù)服務(wù)。
2、離線數(shù)據(jù)倉(cāng)庫:
(1)使用 Spark 及 Hive SQL 構(gòu)建和維護(hù)車聯(lián)網(wǎng)離線數(shù)據(jù)倉(cāng)庫。
(2)基 Hadoop 生態(tài)(包括 Tez 和 MapReduce 引擎)進(jìn)行大規(guī)模數(shù)據(jù)的ETL開發(fā)與性能調(diào)優(yōu)。
(3)了解presto、impala、hive、yarn等hadoop相關(guān)組件
(4)負(fù)責(zé)主題域模型設(shè)計(jì)、數(shù)據(jù)分層(ODS/DWD/DWS/ADS),支撐復(fù)雜的離線指標(biāo)分析需求。
(5)有熟練使用調(diào)度工具的經(jīng)驗(yàn),熟悉各類抽數(shù)工具:sqoop、kettle、datax或者其他
3、數(shù)據(jù)服務(wù)與接口開發(fā):
(1)使用 Java 開發(fā)高性能、高可用的數(shù)據(jù)查詢接口,為前端應(yīng)用、業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)服務(wù)。
(2)整合 MySQL(元數(shù)據(jù)/業(yè)務(wù)數(shù)據(jù))、Redis(高速緩存)、StarRocks(OLAP查詢)等多種數(shù)據(jù)源,優(yōu)化查詢性能。
4、技術(shù)架構(gòu)與優(yōu)化:
(1)負(fù)責(zé) Kafka 集群的數(shù)據(jù)流轉(zhuǎn)架構(gòu)設(shè)計(jì),確保數(shù)據(jù)管道的穩(wěn)定性和吞吐量。
(2)持續(xù)監(jiān)控和優(yōu)化整個(gè)數(shù)據(jù)鏈路的性能,解決生產(chǎn)環(huán)境中的技術(shù)難題。
二、職位要求
【必備條件】
1、經(jīng)驗(yàn)與技能:
(1)計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷,5年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)。
(2)精通 Java 語言,具備良好的編程規(guī)范和工程化能力,能夠編寫高質(zhì)量、高性能的代碼。
(3)精通 Flink 實(shí)時(shí)計(jì)算框架,具有使用 Java API(非僅SQL)進(jìn)行復(fù)雜業(yè)務(wù)開發(fā)的經(jīng)驗(yàn),同時(shí)熟練掌握 Flink SQL。
(4)精通 Spark 和 Hive SQL,有基于 Hadoop(YARN)生態(tài)進(jìn)行大規(guī)模離線數(shù)據(jù)處理的實(shí)戰(zhàn)經(jīng)驗(yàn),了解 Tez 和 MapReduce 引擎原理。
(5)熟練使用 MySQL、Redis,理解其核心原理與應(yīng)用場(chǎng)景。
(6)熟練使用 Kafka,理解其架構(gòu)、吞吐量與可靠性保障機(jī)制。
(7)具備優(yōu)秀的 SQL 性能調(diào)優(yōu)能力,能夠解決數(shù)據(jù)傾斜等復(fù)雜問題。
2、項(xiàng)目經(jīng)驗(yàn):
(1)有處理日均 百億級(jí)別 數(shù)據(jù)量的成功項(xiàng)目經(jīng)驗(yàn),具備海量數(shù)據(jù)下的系統(tǒng)架構(gòu)設(shè)計(jì)和性能優(yōu)化能力。
(2)具備車聯(lián)網(wǎng)、物聯(lián)網(wǎng)或類似高并發(fā)、大數(shù)據(jù)量業(yè)務(wù)場(chǎng)景的項(xiàng)目背景者優(yōu)先。
【優(yōu)先考慮】
3.1 對(duì) iceberg, paimon, doris, starrocks有實(shí)際使用和性能優(yōu)化經(jīng)驗(yàn)者優(yōu)先。
3.2 理解 Lambda 或 Kappa 架構(gòu),并有實(shí)際項(xiàng)目落地經(jīng)驗(yàn)者優(yōu)先。
3.3 有大數(shù)據(jù)平臺(tái)任務(wù)調(diào)度系統(tǒng)(如 DolphinScheduler, Airflow)開發(fā)或管理經(jīng)驗(yàn)者優(yōu)先。
3.4 具備一定的前端知識(shí),能夠獨(dú)立完成簡(jiǎn)單數(shù)據(jù)報(bào)表開發(fā)者優(yōu)先。

工作地點(diǎn)

廣州海珠區(qū)寶地廣場(chǎng)

職位發(fā)布者

余春香/招聘顧問

今日活躍
立即溝通
公司Logo軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司
軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司(以下簡(jiǎn)稱“軟通動(dòng)力”)是中國(guó)領(lǐng)先的全棧智能化產(chǎn)品與服務(wù)提供商,是“中國(guó)500強(qiáng)”企業(yè)(出自“財(cái)富FORTUNE”)。公司2005年成立于北京,多年來持續(xù)創(chuàng)新,致力于成為一家具有全球影響力的科技企業(yè),提供軟件與數(shù)字技術(shù)服務(wù)、計(jì)算產(chǎn)品與智能電子、數(shù)字能源與智算服務(wù)以及國(guó)際化服務(wù)。目前,公司在10余個(gè)重要行業(yè)服務(wù)超過2600家國(guó)內(nèi)外客戶,其中超過230家客戶為世界500強(qiáng)或中國(guó)500強(qiáng)企業(yè),員工90000人。軟通動(dòng)力擁有軟通咨詢、軟通金科、軟通工業(yè)互聯(lián)、機(jī)械革命、軟通華方、軟通國(guó)際等業(yè)務(wù)子品牌,并在全球60余個(gè)城市布局業(yè)務(wù),構(gòu)建北美、日韓、亞太、中東四大國(guó)際交付中心,在北京通州、江蘇無錫建設(shè)兩大智能制造基地。同時(shí),公司前瞻布局智能制造、ICT軟硬基礎(chǔ)能力和生產(chǎn)力智能化產(chǎn)品,打造產(chǎn)業(yè)鏈閉環(huán)。軟通動(dòng)力設(shè)立30個(gè)能力中心,擁有1個(gè)國(guó)家級(jí)工程實(shí)驗(yàn)室,6個(gè)省市政府認(rèn)定的工程、技術(shù)實(shí)驗(yàn)室及研發(fā)中心,1個(gè)博士后科研工作站,50+技術(shù)合作伙伴的生態(tài)合作體系,不斷探索前沿技術(shù)的巨大商業(yè)應(yīng)用潛力。公司旗下教育品牌軟通教育,擁有一家全日制本科學(xué)院——鄭州西亞斯學(xué)院數(shù)字技術(shù)產(chǎn)業(yè)學(xué)院;同時(shí)在全國(guó)合作院校700多所,設(shè)有70多個(gè)校企聯(lián)合人才培養(yǎng)基地,通過校企合作、協(xié)同育人,為社會(huì)培養(yǎng)高素質(zhì)應(yīng)用型人才。軟通動(dòng)力先后獲得“2024年中國(guó)IT服務(wù)市場(chǎng)排名TOP1”、“2024新經(jīng)濟(jì)企業(yè)500強(qiáng)”、“2024年中國(guó)軟件和信息技術(shù)服務(wù)競(jìng)爭(zhēng)力百?gòu)?qiáng)企業(yè)”、“2024年信創(chuàng)領(lǐng)軍企業(yè)”、“2024萬得ESG評(píng)級(jí)(WindESGRating)AA級(jí)及信息技術(shù)服務(wù)行業(yè)ESG綜合得分排名第一”等榮譽(yù)及市場(chǎng)認(rèn)可,并擁有全球軟件工程領(lǐng)域最高級(jí)別CMMIV2.0成熟度5級(jí)評(píng)估認(rèn)證、國(guó)家研發(fā)運(yùn)營(yíng)一體化(DevOps)三級(jí)能力成熟度模型認(rèn)證、信息技術(shù)服務(wù)標(biāo)準(zhǔn)(ITSS)運(yùn)維能力成熟度一級(jí)認(rèn)證等專業(yè)資質(zhì),支撐公司更優(yōu)質(zhì)的服務(wù)體系。
公司主頁