【崗位職責】
1. 實時數據流開發(fā)(Flink):負責在線課堂場景下的實時數據開發(fā),保障直播間的互動消息、上下課考勤、實時并發(fā)人數等指標的及時性與準確性。
2. 離線數據統計(學情/做題):基于 Hive/Spark 進行離線數據清洗與統計,處理學生做題日志、知識點掌握度、學習時長等海量行為數據,產出報表所需的基礎數據表。
3. 數據接入與存儲:負責將各端(App/Web)上報的埋點數據和業(yè)務日志接入大數據平臺,正確使用 SLS、Kafka、HBase、Doris 等組件進行數據的存儲與查詢。
4. 任務維護與質量保障:負責日常ETL任務的調度配置與監(jiān)控,及時處理任務報錯與延遲,確保學生和老師能準時看到數據報告。
【任職要求】
1. 基礎扎實:熟悉 Java/Scala/Python 其中一種語言,SQL 功底扎實,能獨立編寫復雜的查詢邏輯。
2. 熟悉 Flink 開發(fā),了解其基本原理(如窗口、Watermark),有實際的實時作業(yè)開發(fā)經驗。
3. 了解 Hadoop 生態(tài)(HDFS/MapReduce/Hive),熟悉常用的大數據命令。
4. 中間件認知:了解常見數據存儲中間件(如 Kafka, Redis, ES 等)的使用場景和基本讀寫操作,有一定的數據查詢與驗證能力。
執(zhí)行力強:
5. 具備良好的溝通能力,能夠準確理解任務要求;
【加分項】
有在線教育相關數據分析經驗者優(yōu)先.
有數據相關超大項目經驗者優(yōu)先.