崗位職責:
1、參與公司微服務架構的設計、搭建與優(yōu)化,基于Spring Cloud生態(tài)實現(xiàn)服務注冊發(fā)現(xiàn)、配置中心、熔斷降級等核心功能,保障服務高可用與高并發(fā)處理能力。
2、負責Spark生態(tài)相關開發(fā)與運維工作,深入運用Spark on K8s實現(xiàn)Pod從創(chuàng)建、調度、狀態(tài)監(jiān)控到銷毀的全生命周期管理,同時熟悉Spark on Yarn生態(tài),能根據(jù)業(yè)務場景優(yōu)化任務部署與資源分配。
3、負責數(shù)據(jù)庫ETL流程設計與開發(fā),基于Delta Lake構建數(shù)據(jù)湖,實現(xiàn)多數(shù)據(jù)源數(shù)據(jù)的抽取、轉換、加載、增量同步及版本控制,為數(shù)據(jù)驅動決策提供高質量數(shù)據(jù)支撐。
4、負責XXL-Job相關任務調度框架搭建分布式任務調度系統(tǒng),負責任務編排、監(jiān)控與故障處理,具備框架源碼二次開發(fā)能力者優(yōu)先。
5、負責微服務系統(tǒng)的性能優(yōu)化,重點攻克內存優(yōu)化相關問題,通過JVM調優(yōu)、內存泄漏排查、緩存策略優(yōu)化等方式提升系統(tǒng)性能與穩(wěn)定性。
6、具備空間數(shù)據(jù)庫表操作相關能力,掌握常用空間數(shù)據(jù)處理能力。
7、熟悉GIS行業(yè)及氣象相關文件。
8、參與技術難點攻關、推動團隊技術能力提升與技術創(chuàng)新。
任職要求:
1、精通Java基礎,熟練掌握Spring、Spring Boot、Spring Cloud等微服務框架,深入理解微服務設計思想與核心原理。
2、熟練掌握PG、MySQL、Nacos、Kafka、Redis、Hive、CK、Delta等常用中間件的使用與調優(yōu),具備空間數(shù)據(jù)庫PGSDE、PostGIS及ArcGIS空間庫表操作相關能力,掌握常用空間數(shù)據(jù)處理能力。
3、深入掌握Spark生態(tài),具備Spark on K8s Pod全生命周期管理實戰(zhàn)經(jīng)驗,熟悉Spark on Yarn生態(tài)及任務優(yōu)化方法。
4、精通XXL-Job或相關任務調度框架的使用,具備分布式任務調度系統(tǒng)設計與開發(fā)經(jīng)驗,具備框架源碼開發(fā)經(jīng)驗。
5、熟練掌握數(shù)據(jù)庫ETL操作流程與技術,深入理解Delta Lake相關生態(tài),具備數(shù)據(jù)湖構建與管理實戰(zhàn)經(jīng)驗。
6、具備豐富的微服務內存優(yōu)化經(jīng)驗,精通JVM調優(yōu)、內存泄漏排查方法,能獨立解決系統(tǒng)性能瓶頸問題。
7、熟悉CICD構建流程,熟練運用Git、Jenkins、Docker、K8s等DevOps工具,有實際CICD流程搭建與優(yōu)化經(jīng)驗。
8、熟悉Linux操作系統(tǒng),具備良好的Shell腳本編寫能力與問題排查能力。
9、具備良好的溝通協(xié)調能力、團隊協(xié)作精神、學習能力與抗壓能力,有強烈的責任心與技術鉆研精神。
10、有大數(shù)據(jù)相關項目開發(fā)經(jīng)驗、大模型、dify相關開發(fā)經(jīng)驗優(yōu)先。