職位概述
數(shù)據(jù)庫系統(tǒng)管理能力的工程師。負責構建、維護和優(yōu)化用戶的數(shù)據(jù)基礎設施，確保海量數(shù)據(jù)的高效處理、穩(wěn)定存儲和安全訪問，并支撐數(shù)據(jù)分析、機器學習及業(yè)務決策系統(tǒng)。您需要對數(shù)據(jù)技術的全景有深入理解，并能在復雜的系統(tǒng)中找到平衡與創(chuàng)新的解決方案。
核心職責
1. 數(shù)據(jù)平臺維護：大數(shù)據(jù)平臺（如 Hadoop、Spark、Flink 生態(tài)）的架構部署、調優(yōu)與日常運維。
2. 數(shù)據(jù)庫管理與優(yōu)化：負責各類數(shù)據(jù)庫系統(tǒng)（OLTP：如 MySQL/PostgreSQL；OLAP：如 ClickHouse/Doris；NoSQL：如 Redis/MongoDB/Elasticsearch）的部署、監(jiān)控、性能調優(yōu)、容量規(guī)劃與故障排除。
3. 數(shù)據(jù)倉庫/湖倉：參與構建和維護企業(yè)級數(shù)據(jù)倉庫或數(shù)據(jù)湖，確保合理的數(shù)據(jù)分層、數(shù)據(jù)模型與主題域，數(shù)據(jù)的一致性和可復用性。
5. 數(shù)據(jù)治理與安全：實施數(shù)據(jù)質量管理、元數(shù)據(jù)管理、數(shù)據(jù)血緣追蹤，并制定和執(zhí)行數(shù)據(jù)安全策略（權限控制、脫敏、審計等），確保符合合規(guī)要求。
6. 技術支持與協(xié)作：為業(yè)務部門提供穩(wěn)定、高效的數(shù)據(jù)服務與技術支持，優(yōu)化應用的數(shù)據(jù)訪問模式。
必備技能與經驗
1. 技術棧：
· 編程語言：精通至少一門高級語言（Java/Scala/Python 之一），具備良好的編碼習慣和系統(tǒng)開發(fā)能力。
· 大數(shù)據(jù)技術：深入理解并有Spark（Core, SQL, Streaming）或 Flink 的運行經驗。熟悉 Hadoop 生態(tài)（HDFS, YARN, Hive, HBase）或同類組件。
· 數(shù)據(jù)庫技術：
· SQL 數(shù)據(jù)庫：精通至少一種主流 RDBMS（如 MySQL 或 PostgreSQL），精通 SQL 優(yōu)化、索引設計、事務與鎖機制。
· NoSQL：熟悉至少一種 NoSQL 數(shù)據(jù)庫（如 Redis（緩存/數(shù)據(jù)結構）、MongoDB（文檔）、Elasticsearch（搜索））的使用場景和原理。
· 數(shù)據(jù)管道與調度：有使用 Airflow、DolphinScheduler、NiFi 等工具進行工作流編排的經驗。
· 數(shù)據(jù)倉庫：了解維度建模、星型/雪花模型。有使用 Hive、ClickHouse、StarRocks/Doris、Greenplum 等至少一種 OLAP 引擎的經驗。
2. 系統(tǒng)能力：
· 熟悉 Linux 操作系統(tǒng)，掌握常用的命令和腳本編寫（Shell/Python）。
· 了解容器化技術（Docker）和編排工具（Kubernetes）。
· 具備基本的網絡和存儲知識。
3. 經驗要求：
· 計算機科學、信息技術或相關專業(yè)本科及以上學歷。
· 3年以上大數(shù)據(jù)或數(shù)據(jù)庫相關領域工作經驗。
· 有從 0 到 1 參與搭建或主導重大數(shù)據(jù)平臺/數(shù)據(jù)倉庫項目經驗者優(yōu)先。
1. 熟悉云原生數(shù)據(jù)服務（AWS Redshift/EMR, Azure Synapse/HDInsight, 阿里云 MaxCompute/DataWorks 等）。
2. 有流式數(shù)據(jù)處理（Kafka, Pulsar, Spark Streaming, Flink）實時數(shù)倉項目經驗。
3. 了解數(shù)據(jù)湖技術（Delta Lake, Iceberg, Hudi）及湖倉一體架構。
4. 有數(shù)據(jù)治理工具（Atlas, DataHub, Deequ）或數(shù)據(jù)安全實踐經驗。
5. 了解機器學習平臺（MLflow）或支持過 MLOps 流程。
6. 具備優(yōu)秀的文檔編寫、技術分享和團隊協(xié)作能力。
個人素質
1. 強烈的責任心與主動性：對數(shù)據(jù)系統(tǒng)的穩(wěn)定性和數(shù)據(jù)質量有極高的敏感度和責任感。
2. 優(yōu)秀的問題解決能力：善于分析復雜問題，定位根本原因，并能提供系統(tǒng)性解決方案。
3. 學習與適應能力：對數(shù)據(jù)技術充滿熱情，能快速學習并應用新技術。
4. 溝通與團隊合作：優(yōu)秀的跨團隊溝通能力，能夠將技術語言轉化為業(yè)務語言，推動項目落地。