崗位職責(zé):
1.設(shè)計和實現(xiàn)高效的大數(shù)據(jù)處理解決方案,包括數(shù)據(jù)收集、清洗、轉(zhuǎn)換和加載(ETL)。
2.使用Java和相關(guān)大數(shù)據(jù)技術(shù)(如Hadoop/Spark/Flink)開發(fā)可擴展的數(shù)據(jù)處理應(yīng)用。
3.構(gòu)建和維護數(shù)據(jù)倉庫,支持數(shù)據(jù)整合、存儲和分析。
4.優(yōu)化數(shù)據(jù)處理流程和算法,提高系統(tǒng)性能和數(shù)據(jù)質(zhì)量。
5.協(xié)作構(gòu)建實時數(shù)據(jù)處理和分析系統(tǒng)。
6.參與數(shù)據(jù)模型和架構(gòu)設(shè)計,確保數(shù)據(jù)安全性和一致性。
7.編寫高質(zhì)量的代碼,并進行代碼審查。
8.解決技術(shù)難題,持續(xù)改進系統(tǒng)架構(gòu)。
任職要求:
1.計算機或其他相關(guān)專業(yè)本科以上學(xué)歷,具備扎實的專業(yè)基礎(chǔ),如計算機體系結(jié)構(gòu)、操作系統(tǒng)、計算機網(wǎng)絡(luò)等。
2.具備扎實的Java開發(fā)基礎(chǔ),熟悉Java生態(tài)常用框架(如SpringBoot/SpringCloud等),對常用設(shè)計模式與原則有一定理解與應(yīng)用。
3.熟悉大數(shù)據(jù)生態(tài)相關(guān)技術(shù),如DolphinScheduler\Hadoop\HIve\Spark\Flink\ES\Kafka等。
4.有數(shù)據(jù)倉庫(Doris)設(shè)計和實施經(jīng)驗,熟悉ETL流程和工具。
5.熟悉SQL和NoSQL數(shù)據(jù)庫技術(shù)。
6.具備良好的問題解決能力和創(chuàng)新思維。
7.良好的團隊合作和溝通能力。