国产中文无码av每日更新在线观看, 亚洲天堂中文字幕一区二区三区免费, 国产口爆吞精在线观视频-黄色国产, 92福利-国内精品久久久久久99,亚洲成AV人A片不卡无码,浪潮AV无码专区,老熟女败火白浆,中文字幕日产av,色情日本免费看大片

職位概述：
負(fù)責(zé)將應(yīng)用程序從現(xiàn)有 Cloudera 環(huán)境遷移至新的基于 Kubernetes 的數(shù)據(jù)平臺(tái)；具備扎實(shí)的數(shù)據(jù)工程實(shí)操開(kāi)發(fā)技能，能在內(nèi)部負(fù)責(zé)人指導(dǎo)下交付高質(zhì)量的數(shù)據(jù)管道。
核心職責(zé)：
使用 Spark 3.5 和 Python/Scala 開(kāi)發(fā)并優(yōu)化數(shù)據(jù)管道。
將現(xiàn)有 Hive、Spark 和 Control-M 作業(yè)遷移至基于 Airflow 和 DBT 的工作流。
整合數(shù)據(jù)管道與消息系統(tǒng)（Kafka、Solace）及對(duì)象存儲(chǔ)（S3、MinIO）。
排查并優(yōu)化 Kubernetes 環(huán)境中運(yùn)行的分布式作業(yè)。
與內(nèi)部負(fù)責(zé)人及架構(gòu)師密切協(xié)作，落實(shí)最佳實(shí)踐。
設(shè)計(jì)并實(shí)現(xiàn)遷移 / 加速框架，實(shí)現(xiàn)端到端自動(dòng)化遷移。
持續(xù)優(yōu)化框架，確保穩(wěn)定性、可擴(kuò)展性，支持多種用例和場(chǎng)景。
配合各類數(shù)據(jù)應(yīng)用，為遷移過(guò)程提供支持。
在約定時(shí)間內(nèi)完成分配的遷移任務(wù)。
必備技能：
日常英文溝通流通
精通 Apache Spark（批處理 + 流處理）和 Hive。
熟練掌握 Python、Scala 或 Java。
了解編排工具（Airflow/Control-M）和 SQL 轉(zhuǎn)換框架（優(yōu)先 DBT）。
有 Kafka、Solace 及對(duì)象存儲(chǔ)（S3、MinIO）使用經(jīng)驗(yàn)，熟悉 Docker/Kubernetes 部署。
具備數(shù)據(jù)湖倉(cāng)格式（Iceberg、Delta Lake、Hudi）實(shí)操經(jīng)驗(yàn)。