崗位職責(zé):
1、負(fù)責(zé)云平臺(tái)大數(shù)據(jù)系統(tǒng)的開發(fā)和維護(hù),包括數(shù)據(jù)采集、存儲(chǔ)、處理和分析;2、使用大數(shù)據(jù)技術(shù)棧(如Hadoop、Spark、Flink等)構(gòu)建數(shù)據(jù)處理管道,支持實(shí)時(shí)和離線數(shù)據(jù)分析;
3、設(shè)計(jì)和優(yōu)化大數(shù)據(jù)平臺(tái)的架構(gòu),提升系統(tǒng)的性能、可擴(kuò)展性和可靠性;
4、開發(fā)和維護(hù)ETL流程,確保數(shù)據(jù)的準(zhǔn)確性、完整性和及時(shí)性。
崗位要求:
1、3-5年大數(shù)據(jù)開發(fā)經(jīng)驗(yàn),熟悉大數(shù)據(jù)生態(tài)系統(tǒng)(如Hadoop、Spark、Hive、Kafka等);
2、熟悉至少一種編程語言(如Java、Scala、Python等),具備良好的編程能力;
3、熟悉分布式計(jì)算和存儲(chǔ)原理,了解大數(shù)據(jù)平臺(tái)的架構(gòu)設(shè)計(jì);
4、熟悉SQL和NoSQL數(shù)據(jù)庫(如MySQL、PostgreSQL、HBase、Cassandra等);
5、具備數(shù)據(jù)倉庫設(shè)計(jì)和開發(fā)經(jīng)驗(yàn),熟悉EIL工具和流程;
6、具備良好的問題分析和解決能力,能夠獨(dú)立完成復(fù)雜任務(wù)。