崗位職責：
負責數(shù)據(jù)平臺的設計與研發(fā)，支撐大規(guī)模數(shù)據(jù)的高效處理；
開展大數(shù)據(jù)相關技術的調研、選型與落地，持續(xù)提升平臺性能與穩(wěn)定性；
實現(xiàn)數(shù)據(jù)入湖，數(shù)據(jù)湖平臺建設，數(shù)據(jù)湖性能優(yōu)化等；
參與實時計算、批處理架構的建設與優(yōu)化，保障數(shù)據(jù)鏈路的高可用與可擴展性。
任職要求：
1、本科及以上學歷，計算機或相關專業(yè)，具備良好的工程實踐能力與問題解決能力；
2、熟悉 Linux/Unix 環(huán)境，精通 Java 或 Scala，熟練掌握 Python、Shell 等腳本語言；
3、掌握MapReduce、Spark、Flink等并行計算引擎；
4、掌握Hadoop、Hive、Hudi、Paimon等數(shù)據(jù)湖倉存儲組件；
5、有實時計算、大數(shù)據(jù)量數(shù)據(jù)處理項目經驗；
6、熟悉 Redis、Elasticsearch、HBase、Druid、ClickHouse 等分布式存儲系統(tǒng)，并具備實際調優(yōu)經驗者優(yōu)先；
7、加分：熟悉數(shù)據(jù)挖掘的常用算法，能夠進行海量數(shù)據(jù)處理者優(yōu)先。