職位描述
數(shù)據(jù)庫開發(fā)JavaScalaPythonHadoopSparkFlink
**職位：高級數(shù)據(jù)工程師 - **
**經(jīng)驗要求：6-9年**
**職位概述**
我們正在尋找高級數(shù)據(jù)工程師資源，負責(zé)將應(yīng)用程序從傳統(tǒng)的Cloudera環(huán)境遷移到新的基于Kubernetes的數(shù)據(jù)平臺。該職位要求具備扎實的數(shù)據(jù)工程開發(fā)技能，并能夠在內(nèi)部負責(zé)人的指導(dǎo)下交付高質(zhì)量的數(shù)據(jù)管道。
**主要職責(zé)**
? 使用 Spark 3.5 和 Python/Scala 開發(fā)并優(yōu)化數(shù)據(jù)管道。
? 將現(xiàn)有的 Hive、Spark 和 Control-M 作業(yè)遷移至基于 Airflow 和 DBT 的工作流。
? 將數(shù)據(jù)管道與消息系統(tǒng)（Kafka, Solace）和對象存儲（S3, MinIO）集成。
? 對在 Kubernetes 環(huán)境中運行的分布式作業(yè)進行故障排查和性能優(yōu)化。
? 與內(nèi)部負責(zé)人和架構(gòu)師緊密合作，實施最佳實踐。
? 設(shè)計并實施遷移/加速框架，以自動化端到端的遷移過程。
? 持續(xù)改進框架，確保其穩(wěn)定性、可擴展性以及對多種用例和場景的支持。
? 與各類數(shù)據(jù)應(yīng)用程序協(xié)作，以啟用并支持遷移過程。
? 在商定的時間范圍內(nèi)完成分配的遷移任務(wù)。
**必備技能**
? 6-9 年扎實的數(shù)據(jù)工程實戰(zhàn)經(jīng)驗。
? 精通 Apache Spark（批處理 + 流處理）和 Hive。
? 熟練掌握 Python、Scala 或 Java。
? 了解編排工具（Airflow / Control-M）和 SQL 轉(zhuǎn)換框架（優(yōu)先考慮 DBT）。
? 具有使用 Kafka、Solace 和對象存儲（S3, MinIO）的經(jīng)驗。
? 接觸過 Docker/Kubernetes 部署。
? 具備數(shù)據(jù)湖倉一體格式（Iceberg, Delta Lake, Hudi）的實戰(zhàn)經(jīng)驗。
**經(jīng)驗要求：6-9年**
**職位概述**
我們正在尋找高級數(shù)據(jù)工程師資源，負責(zé)將應(yīng)用程序從傳統(tǒng)的Cloudera環(huán)境遷移到新的基于Kubernetes的數(shù)據(jù)平臺。該職位要求具備扎實的數(shù)據(jù)工程開發(fā)技能，并能夠在內(nèi)部負責(zé)人的指導(dǎo)下交付高質(zhì)量的數(shù)據(jù)管道。
**主要職責(zé)**
? 使用 Spark 3.5 和 Python/Scala 開發(fā)并優(yōu)化數(shù)據(jù)管道。
? 將現(xiàn)有的 Hive、Spark 和 Control-M 作業(yè)遷移至基于 Airflow 和 DBT 的工作流。
? 將數(shù)據(jù)管道與消息系統(tǒng)（Kafka, Solace）和對象存儲（S3, MinIO）集成。
? 對在 Kubernetes 環(huán)境中運行的分布式作業(yè)進行故障排查和性能優(yōu)化。
? 與內(nèi)部負責(zé)人和架構(gòu)師緊密合作，實施最佳實踐。
? 設(shè)計并實施遷移/加速框架，以自動化端到端的遷移過程。
? 持續(xù)改進框架，確保其穩(wěn)定性、可擴展性以及對多種用例和場景的支持。
? 與各類數(shù)據(jù)應(yīng)用程序協(xié)作，以啟用并支持遷移過程。
? 在商定的時間范圍內(nèi)完成分配的遷移任務(wù)。
**必備技能**
? 6-9 年扎實的數(shù)據(jù)工程實戰(zhàn)經(jīng)驗。
? 精通 Apache Spark（批處理 + 流處理）和 Hive。
? 熟練掌握 Python、Scala 或 Java。
? 了解編排工具（Airflow / Control-M）和 SQL 轉(zhuǎn)換框架（優(yōu)先考慮 DBT）。
? 具有使用 Kafka、Solace 和對象存儲（S3, MinIO）的經(jīng)驗。
? 接觸過 Docker/Kubernetes 部署。
? 具備數(shù)據(jù)湖倉一體格式（Iceberg, Delta Lake, Hudi）的實戰(zhàn)經(jīng)驗。
Position: Senior Data Engineer – Vendor
Experience: 6–9 Years
Role Summary
We are seeking Senior Data Engineer resources to work on the migration of applications from
our legacy Cloudera environment to the new Kubernetes-based data platform. The role requires
strong hands-on development skills in data engineering, with the ability to deliver high-quality
pipelines under guidance from internal leads.
Key Responsibilities
? Develop and optimize data pipelines using Spark 3.5 and Python/Scala.
? Migrate existing Hive, Spark, and Control-M jobs to Airflow and DBT-based workflows.
? Integrate data pipelines with messaging systems (Kafka, Solace) and object stores (S3,
MinIO).
? Troubleshoot and optimize distributed jobs running in Kubernetes environments.
? Collaborate closely with internal leads and architects to implement best practices.
? Design and implement migration/acceleration framework to automate end to end
migration.
? Continuous enhancements to the frameworks to ensure the stability, scalability and
support for diverse use cases and scenarios.
? Work with various data applications to enable and support the migration process.
? Deliver assigned migration tasks within agreed timelines.
Required Skills
? 6–9 years of hands-on data engineering experience.
? Strong expertise in Apache Spark (batch + streaming) and Hive.
? Proficiency in Python, Scala, or Java.
? Knowledge of orchestration tools (Airflow / Control-M) and SQL transformation
frameworks (DBT preferred).
? Experience working with Kafka, Solace, and object stores (S3, MinIO).
? Exposure to Docker/Kubernetes for deployment.
? Hands on experience of data Lakehouse formats (Iceberg, Delta Lake, Hudi).
Experience: 6–9 Years
Role Summary
We are seeking Senior Data Engineer resources to work on the migration of applications from
our legacy Cloudera environment to the new Kubernetes-based data platform. The role requires
strong hands-on development skills in data engineering, with the ability to deliver high-quality
pipelines under guidance from internal leads.
Key Responsibilities
? Develop and optimize data pipelines using Spark 3.5 and Python/Scala.
? Migrate existing Hive, Spark, and Control-M jobs to Airflow and DBT-based workflows.
? Integrate data pipelines with messaging systems (Kafka, Solace) and object stores (S3,
MinIO).
? Troubleshoot and optimize distributed jobs running in Kubernetes environments.
? Collaborate closely with internal leads and architects to implement best practices.
? Design and implement migration/acceleration framework to automate end to end
migration.
? Continuous enhancements to the frameworks to ensure the stability, scalability and
support for diverse use cases and scenarios.
? Work with various data applications to enable and support the migration process.
? Deliver assigned migration tasks within agreed timelines.
Required Skills
? 6–9 years of hands-on data engineering experience.
? Strong expertise in Apache Spark (batch + streaming) and Hive.
? Proficiency in Python, Scala, or Java.
? Knowledge of orchestration tools (Airflow / Control-M) and SQL transformation
frameworks (DBT preferred).
? Experience working with Kafka, Solace, and object stores (S3, MinIO).
? Exposure to Docker/Kubernetes for deployment.
? Hands on experience of data Lakehouse formats (Iceberg, Delta Lake, Hudi).
工作地點
天津濱海新區(qū)信環(huán)東路附近
相似職位
- 金蝶軟件開發(fā)工程師（數(shù)據(jù)方向）7000-12000元
天津 - 西青
天津市新麗華色材有限責(zé)任公司 天津
平安證券天津 - 濱海新區(qū)
成都邁思信息技術(shù)有限公司- 大數(shù)據(jù)開發(fā)8000-12000元
天津 - 河西
云脈三六五 - SAP主數(shù)據(jù)工程師9000-15000元
天津 - 東麗
天津市金橋焊材集團股份有限公司 - 大數(shù)據(jù)開發(fā)工程師1-1.2萬
天津 - 西青
天津市融創(chuàng)軟通科技股份有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
但女士/資深招聘專員
昨日活躍立即溝通
成都邁思信息技術(shù)有限公司邁思信息技術(shù)有限公司（MaesInfo）是一家布局全球的專業(yè)軟件產(chǎn)品及軟件開發(fā)服務(wù)公司，在美國硅谷，匹茲堡，歐共體以及中國的多個城市都擁有自己的分公司，研發(fā)中心或外包業(yè)務(wù)中心。公司主要提供IT外包（ITO），商業(yè)流程外包（BPO），智能化解決方案，為客戶提供高效率，高質(zhì)量及高可預(yù)期性的服務(wù)。作為外包服務(wù)主要提供商，我們擁有專業(yè)的市場分析員，系統(tǒng)架構(gòu)師，技術(shù)顧問，界面設(shè)計師，軟件工程師，數(shù)據(jù)庫管理工程師及質(zhì)量管理工程師。我們提供基于面向服務(wù)架構(gòu)（SOA）的企業(yè)信息系統(tǒng)服務(wù)，及具有創(chuàng)造性的用戶界面設(shè)計，電子商務(wù)軟件開發(fā)和事務(wù)流程自動化等快速優(yōu)質(zhì)的軟件外包和離岸開發(fā)服務(wù)。我們的客戶遍布于制造、金融服務(wù)、醫(yī)療、零售等行業(yè)，其中包括有世界排名前500強的高科技企業(yè)。并且在北美、日本建立了廣泛的外包渠道，在業(yè)界有著突出的成績。在中國，我們最大的外包研發(fā)中心建立在西部外包業(yè)務(wù)的福地四川成都，這里孕育著大批優(yōu)秀的軟件專業(yè)人才。在江蘇常州，我們建立了面向華東地區(qū)的軟件研發(fā)及外包業(yè)務(wù)中心，其中常州的軟件研發(fā)項目入選當?shù)仡I(lǐng)軍型海歸人才項目，并獲得海歸領(lǐng)軍型人才項目專項資助。與此同時，常州的外包業(yè)務(wù)中心開始承接海外外包項目，特別是在美國的全球500強企業(yè)的離岸外包業(yè)務(wù)。在深圳及西安，我們正在建設(shè)地區(qū)性軟件研發(fā)及外包業(yè)務(wù)中心，面向地區(qū)市場，并承攬海外業(yè)務(wù)。此外，在美國硅谷，歐共體及卡爾加里我們都擁有自己的分公司，這使得我們的全球客戶服務(wù)具備地理位置上的絕對優(yōu)勢?！aesInfo is a leading provider of professional outsourcing service with a Global Development Center in Chengdu,China and as well as PM offices in the USA and Canada.MaesInfo engages in IT Outsourcing(ITO)and R&D while also developing its software products.MaesInfo's goal is to become China's IBM and we strive to be the leader of China's IT Outsourcing industry.Our Global Software Development Center is located in Chengdu,China and offers a hotbed for nurturing the talent to develop and deploy the world's highest-quality software.With branches in Beijing, Silicon Valley and Calgary,we're well positioned to serve our customers globally around the clock.We offer a disciplined approach to offshore outsourcing for companies all over the world.Our high-quality and low-cost operating model allow us to pass on more than 50% cost savings to our clients while continuing to improve our productivity and predictability.As a leading provider for Enterprise Information Systems based on Service Oriented Architecture(SOA),we stand out with an impressive track record across various industries all over the USA and Japan.Our top-notch team includes Business Analysts,Architects,Process Consultants,Interface Designers,Software Engineers,DBA and QA/QC Engineers etc.歡迎瀏覽公司網(wǎng)站：http://www.maesinfo.com; http://www.maesinfo.cn
公司主頁