国产中文无码av每日更新在线观看, 亚洲天堂中文字幕一区二区三区免费, 国产口爆吞精在线观视频-黄色国产, 92福利-国内精品久久久久久99,亚洲成AV人A片不卡无码,浪潮AV无码专区,老熟女败火白浆,中文字幕日产av,色情日本免费看大片

更新于 2025-09-17 00:07:02

數(shù)據(jù)工程師/數(shù)據(jù)分析師

8000-12000元
  • 北京海淀區(qū)
  • 3-5年
  • 本科
  • 全職
  • 招1人

職位描述

數(shù)據(jù)架構(gòu)數(shù)據(jù)挖掘數(shù)據(jù)建模Elasticsearch
工作職責(zé):
1. 負(fù)責(zé)大數(shù)據(jù)平臺的搭建、開發(fā)與維護(hù),包括基于 Kettle 的 ETL 作業(yè)設(shè)計(jì)與實(shí)現(xiàn),以及數(shù)據(jù)采集、清洗、轉(zhuǎn)換、加載、計(jì)算及分析全流程管理,保障數(shù)據(jù)處理的高效性與準(zhǔn)確性。?
2. 基于業(yè)務(wù)需求,設(shè)計(jì)并實(shí)現(xiàn)
Elasticsearch(ES)搜索引擎相關(guān)功能,包括索引設(shè)計(jì)、查詢優(yōu)化、數(shù)據(jù)同步(含與 Kettle/MySQL 的數(shù)據(jù)流轉(zhuǎn))及集群維護(hù),提升搜索響應(yīng)速度與查詢精度。?
3. 負(fù)責(zé) MySQL 數(shù)據(jù)庫的設(shè)計(jì)、開發(fā)、部署與運(yùn)維,包括數(shù)據(jù)表結(jié)構(gòu)優(yōu)化、SQL 語句調(diào)優(yōu)、事務(wù)處理、數(shù)據(jù)備份與恢復(fù),同時(shí)配合 Kettle 完成 MySQL 與其他數(shù)據(jù)源(如大數(shù)據(jù)平臺、ES)的雙向數(shù)據(jù)同步,保障數(shù)據(jù)庫穩(wěn)定運(yùn)行。?
4. 主導(dǎo) Kettle ETL 項(xiàng)目開發(fā),包括需求分析、作業(yè) / 轉(zhuǎn)換設(shè)計(jì)、參數(shù)配置、調(diào)度部署,解決數(shù)據(jù)抽取延遲、轉(zhuǎn)換異常、加載失敗等問題,確保數(shù)據(jù)按時(shí)、準(zhǔn)確落地至目標(biāo)存儲(如數(shù)據(jù)倉庫、MySQL、ES)。?
5. 參與數(shù)據(jù)建模與數(shù)據(jù)倉庫建設(shè),結(jié)合業(yè)務(wù)場景制定數(shù)據(jù)標(biāo)準(zhǔn)與規(guī)范,利用大數(shù)據(jù)技術(shù)、Kettle ETL 工具支撐業(yè)務(wù)數(shù)據(jù)分析與決策。?
6. 與產(chǎn)品、業(yè)務(wù)團(tuán)隊(duì)緊密協(xié)作,理解業(yè)務(wù)需求并轉(zhuǎn)化為技術(shù)方案(含 ETL 流程、大數(shù)據(jù)處理、ES 搜索、MySQL
存儲聯(lián)動方案),解決數(shù)據(jù)相關(guān)技術(shù)問題,保障業(yè)務(wù)系統(tǒng)穩(wěn)定高效運(yùn)行。?
7. 跟蹤大數(shù)據(jù)、ETL(Kettle)、搜索引擎(ES)及數(shù)據(jù)庫(MySQL)領(lǐng)域的新技術(shù)、新趨勢,引入合適的技術(shù)方案優(yōu)化現(xiàn)有系統(tǒng),提升系統(tǒng)性能與可擴(kuò)展性。
任職資格:
1. 本科及以上學(xué)歷,計(jì)算機(jī)科學(xué)與技術(shù)、軟件工程、大數(shù)據(jù)相關(guān)專業(yè)優(yōu)先。
2. 3 年及以上大數(shù)據(jù)開發(fā)相關(guān)工作經(jīng)驗(yàn),至少具備 1 個(gè)完整的 “大數(shù)據(jù)處理 + ETL(Kettle)+ES/MySQL” 綜合項(xiàng)目實(shí)戰(zhàn)經(jīng)驗(yàn),有高并發(fā)、大數(shù)據(jù)量場景下的 Kettle 應(yīng)用與優(yōu)化經(jīng)驗(yàn)者優(yōu)先。
3. 大數(shù)據(jù)相關(guān)知識:熟練掌握
Hadoop 生態(tài)系統(tǒng)(HDFS、MapReduce、YARN)、Spark(Spark
Core、Spark SQL、Spark
Streaming/Flink)等大數(shù)據(jù)框架,了解數(shù)據(jù)采集工具(Flume、Logstash、Kafka)的使用與原理,能獨(dú)立完成大數(shù)據(jù)任務(wù)的開發(fā)與調(diào)優(yōu),并與 ETL 流程協(xié)同。?
4. Kettle(ETL 工具):熟練使用 Kettle(Pentaho Data Integration)設(shè)計(jì) ETL 作業(yè)與轉(zhuǎn)換,精通數(shù)據(jù)抽?。◤?MySQL、文件、API 等多源獲取數(shù)據(jù))、轉(zhuǎn)換(數(shù)據(jù)清洗、過濾、關(guān)聯(lián)、聚合等)、加載(寫入數(shù)據(jù)倉庫、ES、MySQL 等)全流程;具備 Kettle 性能優(yōu)化(如分區(qū)、并行處理)、調(diào)度配置(如定時(shí)任務(wù)、依賴管理)、故障排查(如日志分析、數(shù)據(jù)一致性校驗(yàn))能力;了解 Kettle 與其他系統(tǒng)(Hadoop、Kafka、ES)的集成方案。?
5. Elasticsearch 搜索引擎:精通
Elasticsearch 的索引創(chuàng)建、映射配置、查詢 DSL 語法,具備索引分片策略設(shè)計(jì)、查詢性能優(yōu)化、集群監(jiān)控與故障排查能力;熟悉 ES 與 Kettle/MySQL 的數(shù)據(jù)同步方案,能解決 ES 在高并發(fā)、大數(shù)據(jù)量場景下的性能問題。
6. MySQL 數(shù)據(jù)庫:熟練掌握 MySQL 數(shù)據(jù)庫的基本原理、存儲引擎(InnoDB、MyISAM)特性,精通
SQL 語句編寫與優(yōu)化(索引優(yōu)化、查詢計(jì)劃分析)、事務(wù)管理、鎖機(jī)制;具備數(shù)據(jù)庫分庫分表、讀寫分離、高可用架構(gòu)(主從復(fù)制、MGR)搭建與維護(hù)經(jīng)驗(yàn),能配合 Kettle 完成數(shù)據(jù)同步,處理數(shù)據(jù)庫常見故障與性能瓶頸。?
7. 開發(fā)能力:熟練使用至少一種編程語言(Java、Scala、Python),具備良好的代碼規(guī)范與編程習(xí)慣;了解分布式系統(tǒng)設(shè)計(jì)原則,能應(yīng)對分布式環(huán)境下的數(shù)據(jù)一致性、高可用等問題,可輔助優(yōu)化 Kettle ETL 流程的自動化與穩(wěn)定性。?
其他技能:熟悉 Linux 操作系統(tǒng),能進(jìn)行基本的命令操作與系統(tǒng)維護(hù);了解數(shù)據(jù)可視化工具(如 Superset、Tableau)者優(yōu)先;具備良好的問題分析與解決能力,能快速定位并處理 ETL、大數(shù)據(jù)、ES、MySQL 相關(guān)技術(shù)故障。

工作地點(diǎn)

北京海淀區(qū)海育大廈(南門)1502

職位發(fā)布者

HR/人力資源部主任

昨日活躍
立即溝通
北京萬方軟件有限公司
北京萬方軟件有限公司(以下簡稱萬方軟件)成立于2011年,是北京萬方數(shù)據(jù)股份有限公司的全資子公司。公司以市場需求為導(dǎo)向,以核心技術(shù)為驅(qū)動,依托萬方軟件構(gòu)建的中外文科技文獻(xiàn)元數(shù)據(jù)倉儲知識庫和機(jī)構(gòu)、學(xué)者、項(xiàng)目、成果等事實(shí)數(shù)據(jù)庫,專注于云服務(wù)架構(gòu)下的資源整合與統(tǒng)一檢索、知識發(fā)現(xiàn)與獲取、大數(shù)據(jù)分析、動態(tài)數(shù)字出版與數(shù)字資產(chǎn)管理等核心技術(shù)研發(fā)。萬方軟件秉持“以人為本”的發(fā)展理念,除了為員工提供國家規(guī)定的各項(xiàng)社會保險(xiǎn),也推出了貼近員工生活、更具人性化和特色化的各項(xiàng)福利:員工食堂、交通補(bǔ)貼、住房補(bǔ)貼、物業(yè)補(bǔ)貼、節(jié)日補(bǔ)貼、員工體檢(公司關(guān)注員工的身體狀況,每年都組織員工進(jìn)行常規(guī)的身體檢查,對40歲以上員工每年組織兩次身體檢查)、冬季和夏季帶薪集中休假、補(bǔ)充醫(yī)療保險(xiǎn)(公司在原有社會保險(xiǎn)之外,還為員工投保了商業(yè)補(bǔ)充醫(yī)療保險(xiǎn),為員工生活解決部分后顧之憂)。萬方軟件真誠期待您的加入,相信您的加入必定會為公司注入新的活力,而我們也必將為您提供良好的工作環(huán)境和廣闊的發(fā)展平臺。
公司主頁