崗位職責(zé):
1.設(shè)計和實現(xiàn)高效的大數(shù)據(jù)處理方案,包括ETL。
2.使用Java和相關(guān)大數(shù)據(jù)技術(shù)開發(fā)可擴展的數(shù)據(jù)處理應(yīng)用。
3.優(yōu)化數(shù)據(jù)處理流程,提高系統(tǒng)性能和數(shù)據(jù)質(zhì)量。
4.解決大數(shù)據(jù)相關(guān)技術(shù)難題,持續(xù)改進(jìn)系統(tǒng)架構(gòu)。
5.開展技術(shù)選型驗證、核心技術(shù)問題攻關(guān)。
任職要求:
1.具備扎實的專業(yè)基礎(chǔ),如計算機體系結(jié)構(gòu)、操作系統(tǒng)、計算機網(wǎng)絡(luò)等。
2熟悉大數(shù)據(jù)生態(tài)相關(guān)技術(shù),如Hdfs\HBase\Hive\Spark\Kafka\Flink\ES等 。
3.具備扎實的Java開發(fā)基礎(chǔ),熟悉Java生態(tài)常 用框架與技術(shù)。
4.熟悉SQL與NoSQL數(shù)據(jù)庫技術(shù)。
5.具備良好的問題解決能力和創(chuàng)新思維。
6.良好的團隊合作和溝通能力。
1.有萬億級、PB級數(shù)據(jù)處理實戰(zhàn)經(jīng)驗;
2.有安全行業(yè)從業(yè)或研究經(jīng)歷;
3.熟悉Elastic Stack系列工具;
4.對機器學(xué)習(xí)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)AI等技術(shù)有研究或者有從業(yè)經(jīng)驗: