職位描述:
1. 使用Java開發(fā)實(shí)時(shí)數(shù)據(jù)流處理應(yīng)用程序,包括Flink和Spark Streaming。
2. 處理大規(guī)模數(shù)據(jù)集,包括在Hadoop、HBase、MPP數(shù)據(jù)庫(kù)、PostgreSQL等存儲(chǔ)系統(tǒng)中進(jìn)行數(shù)據(jù)操作。
3. 參與大數(shù)據(jù)項(xiàng)目的需求分析、系統(tǒng)架構(gòu)設(shè)計(jì)、并完成需求設(shè)計(jì)相應(yīng)文檔的編寫。
4. 從事大數(shù)據(jù)平臺(tái)或大數(shù)據(jù)產(chǎn)品的開發(fā)、優(yōu)化工作。
5. 進(jìn)行大數(shù)據(jù)相關(guān)的新技術(shù)研究,提高技術(shù)創(chuàng)新能力。
職位要求:
1. 本科及以上學(xué)歷,4年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn),計(jì)算機(jī)相關(guān)專業(yè)。
2. 精通Java編程語(yǔ)言,具有FlinkApi和SparkCore實(shí)時(shí)數(shù)據(jù)處理經(jīng)驗(yàn),如 spark dataframe rdd / flink datastream / hive或doris udf 。
3. 熟悉業(yè)界常見的數(shù)據(jù)平臺(tái)、產(chǎn)品和工具,如Hadoop、騰訊TBDS,并熟悉開源大數(shù)據(jù)平臺(tái)核心組件的工作原理, 有一定的集群運(yùn)維經(jīng)驗(yàn), 能處理簡(jiǎn)單的問題。
4. 熟練使用HDFS、Hive、HBase、DolphinScheduler、Doris、Spark、Flink、Paimon等開源組件。
5. 熟悉事務(wù)型數(shù)據(jù)庫(kù)(如Oracle、MySQL、PostgreSQL、SQL Server等)和分析型數(shù)據(jù)庫(kù)(如Doris等),具有豐富的SQL語(yǔ)言開發(fā)經(jīng)驗(yàn)和數(shù)據(jù)庫(kù)調(diào)優(yōu)經(jīng)驗(yàn)。
6. 熟練使用Shell腳本和命令,進(jìn)行數(shù)據(jù)處理、文件操作等任務(wù),確保高效的大數(shù)據(jù)處理。
7. 良好的溝通能力、表達(dá)能力和文檔編寫能力。
10. 良好的抗壓能力和團(tuán)隊(duì)協(xié)作能力。
11. 參與過醫(yī)療行業(yè)的數(shù)據(jù)加工和開發(fā)者優(yōu)先,如對(duì)接 hl7 / fhil 。
12. 參與過醫(yī)療行業(yè)指標(biāo)開發(fā)、標(biāo)簽?zāi)P驮O(shè)計(jì)優(yōu)先。