職位描述
ODSDWD
崗位職責
設計與實現(xiàn)多源接入方案（DB/日志/API/文件/消息），含實時CDC與批量抽取。
建設與維護采集Agent、Connector與調(diào)度任務，保障高可用與容錯。
制定字段映射、編碼規(guī)范與數(shù)據(jù)校驗規(guī)則，保障數(shù)據(jù)質(zhì)量與可追溯。
建設可觀測性（指標、日志、鏈路、告警），持續(xù)優(yōu)化時延與穩(wěn)定性。
推進元數(shù)據(jù)登記、數(shù)據(jù)血緣與數(shù)據(jù)目錄更新，完成數(shù)據(jù)標準化入湖。
編寫與維護接入SOP/Runbook，參與變更評審與安全合規(guī)。
專業(yè)技能
熟悉Kafka、Flink CDC、Logstash、Flume、Debezium、Sqoop等接入組件。
掌握數(shù)據(jù)格式與協(xié)議（JSON/Avro/Parquet、JDBC/HTTP/FTP/消息隊列）。
熟練使用調(diào)度與編排（Airflow/DolphinScheduler），具備Shell/Python腳本能力。
了解數(shù)據(jù)質(zhì)量校驗、重試補償、冪等控制和Exactly-Once語義。
理解數(shù)據(jù)湖/倉基礎（HDFS/對象存儲、分區(qū)分桶、Iceberg/Delta）。
具備Linux、網(wǎng)絡、證書與訪問控制的基礎運維能力
設計與實現(xiàn)多源接入方案（DB/日志/API/文件/消息），含實時CDC與批量抽取。
建設與維護采集Agent、Connector與調(diào)度任務，保障高可用與容錯。
制定字段映射、編碼規(guī)范與數(shù)據(jù)校驗規(guī)則，保障數(shù)據(jù)質(zhì)量與可追溯。
建設可觀測性（指標、日志、鏈路、告警），持續(xù)優(yōu)化時延與穩(wěn)定性。
推進元數(shù)據(jù)登記、數(shù)據(jù)血緣與數(shù)據(jù)目錄更新，完成數(shù)據(jù)標準化入湖。
編寫與維護接入SOP/Runbook，參與變更評審與安全合規(guī)。
專業(yè)技能
熟悉Kafka、Flink CDC、Logstash、Flume、Debezium、Sqoop等接入組件。
掌握數(shù)據(jù)格式與協(xié)議（JSON/Avro/Parquet、JDBC/HTTP/FTP/消息隊列）。
熟練使用調(diào)度與編排（Airflow/DolphinScheduler），具備Shell/Python腳本能力。
了解數(shù)據(jù)質(zhì)量校驗、重試補償、冪等控制和Exactly-Once語義。
理解數(shù)據(jù)湖/倉基礎（HDFS/對象存儲、分區(qū)分桶、Iceberg/Delta）。
具備Linux、網(wǎng)絡、證書與訪問控制的基礎運維能力
工作地點
石家莊裕華區(qū)環(huán)球智匯中心-C座西塔23層
相似職位
- 大數(shù)據(jù)倉庫工程師5000-10000元
石家莊 - 裕華
河北鵬鵠信息科技有限公司 - 數(shù)據(jù)倉庫開發(fā)工程師6000-8000元
石家莊 - 裕華
河北鵬鵠信息科技有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
王夢亞/人事經(jīng)理
剛剛活躍立即溝通
河北鵬鵠信息科技有限公司河北鵬鵠信息科技有限公司（以下簡稱“公司”）創(chuàng)立于2021年9月30日，公司作為河北省內(nèi)首家專注于人工智能技術賦能智慧交通領域的創(chuàng)新型科研單位，依托自身專注于AI、大數(shù)據(jù)治理、物聯(lián)網(wǎng)技術領域不斷深耕，同時基于自有國際化前沿團隊先進的研發(fā)、應用能力優(yōu)勢及多項技術專利加持，根植于交通運輸行業(yè)，尤其是針對省內(nèi)各級高速路、國省干線及農(nóng)村公路的“建、管、養(yǎng)、運”全流程工作環(huán)節(jié)，不斷予以“信息化”、“智慧化”的深層次、多維度賦能。公司自創(chuàng)建以來，一直堅持“輕量化智慧交通”的產(chǎn)品研發(fā)、應用理念，緊緊圍繞國家“十四五規(guī)劃建設綱要”及“交通強國建設綱要”等國家政策文件對智慧交通領域的相關提升要求，堅持問題導向，不斷因地制宜，提供定制化服務，利用人工智能賦能傳統(tǒng)道路機電設備，模擬人腦的發(fā)現(xiàn)、思維過程，極大降低人為誤判干擾，提升各級無人值守能力，使其實現(xiàn)大幅智慧化提升；同時利用行業(yè)領先的數(shù)據(jù)融合技術，極大降低智能化硬件設備的投入及管控系統(tǒng)平臺的重復建設，大大降低客戶智慧化提升的各項投入成本，為河北省內(nèi)各級道路管養(yǎng)部門及企業(yè)提供了各類有針對性的“精細化”、“模塊化”智慧交通提升方案，其中“長大橋隧智慧管理平臺”、“交通大腦系統(tǒng)”及“數(shù)據(jù)中樞系統(tǒng)”等產(chǎn)品已在省內(nèi)各級地市縣級道路管養(yǎng)部門進行成功布設搭建，并獲得各級客戶的高度認可，為省內(nèi)各級道路的智能化提升工作做出卓越貢獻。
公司主頁