工作內(nèi)容:
1.負(fù)責(zé)大數(shù)據(jù)系統(tǒng)和數(shù)據(jù)湖的設(shè)計(jì)、開(kāi)發(fā)、搭建及性能優(yōu)化,解決大數(shù)據(jù)組件技術(shù)問(wèn)題;
2.基于業(yè)務(wù)需求進(jìn)行數(shù)據(jù)建模及大數(shù)據(jù)作業(yè)開(kāi)發(fā),確保數(shù)據(jù)完整性致性與安全;
3.負(fù)責(zé) Spark 和 Doris 的開(kāi)發(fā)、調(diào)優(yōu)及性能優(yōu)化,保障批流一體作業(yè)的高效運(yùn)行;
4.負(fù)責(zé) Hadoop、Trino 等大數(shù)據(jù)組件的Flink 、Hive Kafka運(yùn)維與調(diào)優(yōu),保障大數(shù)據(jù)平臺(tái)7*24穩(wěn)定高效運(yùn)行,推動(dòng)運(yùn)維自動(dòng)化;
5支持部門(mén)項(xiàng)目實(shí)施,確保安全規(guī)范,并完成相關(guān)文檔記錄。
崗位要求:
1、統(tǒng)招本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專(zhuān)業(yè),3年以上大數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn)精通 Java 和 SQL ,熱悉 Python/Shell /Scala 等至少一種開(kāi)發(fā)語(yǔ)言熟悉常用設(shè)計(jì)模式;
2、具備扎實(shí)的 Spark 開(kāi)發(fā)與調(diào)優(yōu)能力,熟悉 Spark SQL、SparkStreaming 、內(nèi)存管理與性能優(yōu)化;
3、具備 Doris 實(shí)際項(xiàng)目開(kāi)發(fā)與調(diào)優(yōu)經(jīng)驗(yàn),熟悉建模設(shè)計(jì)、查詢(xún)優(yōu)化及高并發(fā)場(chǎng)景處理;
4、熟悉其他主流大數(shù)據(jù)技術(shù)(Hadoop/Flink/Hive/Kafka/Trino有華為 MRS 或 Hudi 數(shù)據(jù)湖經(jīng)驗(yàn)者優(yōu)先;
5.責(zé)任心強(qiáng),具備良好的自驅(qū)力和項(xiàng)目管理意識(shí),能主動(dòng)思考并及時(shí)匯報(bào)項(xiàng)目進(jìn)度與風(fēng)險(xiǎn);