崗位職責(zé)
1、負(fù)責(zé)大數(shù)據(jù)平臺(tái)架構(gòu)規(guī)劃設(shè)計(jì)、規(guī)范制定、平臺(tái)優(yōu)化、技術(shù)選型、新技術(shù)調(diào)研。
2、負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)相關(guān)數(shù)據(jù)產(chǎn)品的方案設(shè)計(jì)、評(píng)審及技術(shù)優(yōu)化,負(fù)責(zé)關(guān)鍵技術(shù)模塊的設(shè)計(jì)和開發(fā)。
3、制定和持續(xù)優(yōu)化大數(shù)據(jù)平臺(tái)相關(guān)的架構(gòu)、規(guī)范與流程,包括但不限于技術(shù)方案規(guī)范、代碼管理規(guī)范、部署運(yùn)維規(guī)范等。
4、負(fù)責(zé)大數(shù)據(jù)平臺(tái)運(yùn)維,異常調(diào)查、處理,確保平臺(tái)穩(wěn)定高效運(yùn)行。
任職要求
1、計(jì)算機(jī)相關(guān)專業(yè),5 年以上大數(shù)據(jù)領(lǐng)域相關(guān)經(jīng)驗(yàn),對(duì)大數(shù)據(jù)技術(shù)有濃厚的興趣。
2、具備豐富的大數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)經(jīng)驗(yàn),熟悉數(shù)據(jù)采集、清洗、同步、計(jì)算、存儲(chǔ)、應(yīng)用等各個(gè)環(huán)節(jié),熟悉離線數(shù)倉、實(shí)時(shí)數(shù)倉、數(shù)據(jù)湖、湖倉一體等架構(gòu)的平臺(tái)構(gòu)建方法。
3、熟悉大數(shù)據(jù)集群,具有大規(guī)模集群規(guī)劃實(shí)施、監(jiān)控與運(yùn)維工作經(jīng)驗(yàn),熟悉大數(shù)據(jù)常見問題及處理方法。
4、熟悉 Hadoop 大數(shù)據(jù)生態(tài),對(duì)
Hadoop/Hive/Spark/Flink/Kafka/HBase/Redis/Hudi/Iceberg/Delta Lake/Doris/StarRocks/ClickHouse 等大數(shù)據(jù)框架的原理、配置、使用、優(yōu)化等方面有一定理解和掌握,至少精通其中 1-2 種。
5、扎實(shí)的編程基礎(chǔ),精通 java/scala/python 其中任一開發(fā)語言,熟練掌握 jvm 性能調(diào)優(yōu)和問題排查方法。
6、強(qiáng)烈的責(zé)任心和良好的分析問題、解決問題的能力。溝通能力強(qiáng),能與周邊同事友好相處,抗壓能力強(qiáng)。