国产中文无码av每日更新在线观看, 亚洲天堂中文字幕一区二区三区免费, 国产口爆吞精在线观视频-黄色国产, 92福利-国内精品久久久久久99,亚洲成AV人A片不卡无码,浪潮AV无码专区,老熟女败火白浆,中文字幕日产av,色情日本免费看大片

更新于 9月3日

數(shù)據(jù)倉庫工程師(大模型應用方向)

1.4-2.2萬·14薪
  • 北京通州區(qū)
  • 3-5年
  • 本科
  • 全職
  • 招1人

雇員點評標簽

  • 同事很nice
  • 團隊執(zhí)行強
  • 工作環(huán)境好
  • 氛圍活躍
  • 人際關系好

職位描述

JavaPythonClickHouseDORISElasticsearchDataX數(shù)倉開發(fā)
主要職責
??數(shù)據(jù)倉庫設計與開發(fā):??
1 、參與設計、構建、開發(fā)和維護高效、可擴展、高性能的企業(yè)級數(shù)據(jù)倉庫架構。
2 、開發(fā)和優(yōu)化復雜的ETL/ELT流程,用于從各種異構數(shù)據(jù)源(關系型數(shù)據(jù)庫、NoSQL、API、日志文件、文件系統(tǒng)等)抽取、轉(zhuǎn)換和加載數(shù)據(jù)。
3 、獨立負責模塊建設,以及上下游對接工作;
4 、負責數(shù)據(jù)倉庫的日常運維、監(jiān)控和性能調(diào)優(yōu)。
5、構建或集成智能數(shù)據(jù)問答/探索能力: 參與探索或開發(fā)基于大模型的自然語言交互界面,賦能業(yè)務用戶更便捷地查詢和分析數(shù)據(jù)倉庫中的數(shù)據(jù)。
6、應用大模型增強數(shù)據(jù)治理: 探索利用LLM進行元數(shù)據(jù)自動提取、分類、打標、數(shù)據(jù)血緣關系補充、數(shù)據(jù)目錄內(nèi)容生成與維護。
7、評估和引入合適的大模型工具/框架: 關注業(yè)界在數(shù)據(jù)工程領域應用LLM的進展,評估并引入合適的開源或商業(yè)化工具(如Text-to-SQL引擎、AI輔助數(shù)據(jù)目錄工具等)。

?
任職要求
1、 熟悉數(shù)據(jù)倉庫各類模型建模理論,了解數(shù)據(jù)倉庫數(shù)據(jù)分層架構,多維數(shù)據(jù)模型設計;
2、 熟練使用Hadoop、Spark、Hive等大數(shù)據(jù)套件 , 熟悉業(yè)內(nèi)主流BI產(chǎn)品,有使用經(jīng)驗優(yōu)先;
3、 有較強的編程能力和編程經(jīng)驗,至少熟悉Java\Python 等其中一門開發(fā)語言;
4、 參與過大型數(shù)據(jù)倉庫架構設計、模型設計、ETL設計,具備海量數(shù)據(jù)處理、性能調(diào)優(yōu)經(jīng)驗;
5、 至少熟悉一門調(diào)度工具如airflow、dolphinscheduler等
6、 熟練操作linux/unix服務器,熟悉shell編程,至少會一門以上腳本編程語言。
7、 熟悉flume、flinkcdc、maxwell、datax等數(shù)據(jù)采集工具
8、 熟悉常見的olap數(shù)據(jù)庫,如clickhouse、doris,熟悉elasticsearch優(yōu)先
9、了解大模型原理及應用場景: 熟悉主流大模型(如GPT系列、Claude、Llama等)的基本原理、能力邊界及其在數(shù)據(jù)處理和分析領域的典型應用場景(如Text-to-SQL, Code Generation, NLQ等)。
10、具備大模型工具鏈實踐能力: 熟練掌握至少一種主流大模型API(如OpenAI API, Anthropic API)或開源大模型(如Llama 2, Mistral)的調(diào)用、集成與基礎Prompt Engineering技巧。
11、有應用大模型解決實際數(shù)據(jù)問題的意識與經(jīng)驗: 能夠思考并嘗試利用大模型優(yōu)化數(shù)據(jù)開發(fā)、數(shù)據(jù)查詢、數(shù)據(jù)治理或數(shù)據(jù)運維等環(huán)節(jié)的具體工作,提升效率或質(zhì)量。


加分項:
1、 熟悉flink,有實際落地的實時數(shù)倉經(jīng)驗
2、 熟悉數(shù)據(jù)治理,有元數(shù)據(jù)管理經(jīng)驗
3、 了解數(shù)據(jù)湖,有過流批一體經(jīng)驗
4、具備大模型應用開發(fā)經(jīng)驗: 有實際項目經(jīng)驗,將大模型技術成功應用于數(shù)據(jù)工程或數(shù)據(jù)分析領域(如開發(fā)基于LLM的數(shù)據(jù)查詢工具、自動化文檔生成、智能數(shù)據(jù)質(zhì)量檢查等)。
5、熟悉大模型在數(shù)據(jù)倉庫/數(shù)據(jù)平臺中的集成模式: 了解如何將LLM能力安全、有效地集成到現(xiàn)有數(shù)據(jù)架構中(如與BI工具、數(shù)據(jù)目錄、調(diào)度系統(tǒng)的結(jié)合)。
6、了解向量數(shù)據(jù)庫及其應用: 熟悉主流向量數(shù)據(jù)庫(如Milvus, Pinecone, pgvector, ChromaDB)的原理和使用,理解其在增強大模型知識檢索能力方面的作用。
7、熟悉LangChain, LlamaIndex等LLM應用框架: 有使用此類框架構建復雜LLM應用的經(jīng)驗。
8、具備Prompt Engineering優(yōu)化經(jīng)驗: 能針對特定數(shù)據(jù)任務設計和優(yōu)化高效的Prompt,提升模型輸出的準確性和可靠性。
9、了解大模型微調(diào)(Fine-tuning)基礎概念: 知道何時以及如何通過微調(diào)提升模型在特定領域任務(如公司專屬數(shù)據(jù)模式理解)的表現(xiàn)。

工作地點

北京通州區(qū)聯(lián)東集團聯(lián)東商務中心

職位發(fā)布者

鄒女士/招聘

今日活躍
立即溝通
公司Logo北京聯(lián)東投資(集團)有限公司公司標簽
聯(lián)東創(chuàng)建于1991年,專注于產(chǎn)業(yè)服務和園區(qū)運營,已經(jīng)發(fā)展成為具有全國影響力的產(chǎn)業(yè)集團。旗下核心企業(yè)聯(lián)東U谷,目前在全國83座城市投資運營產(chǎn)業(yè)園區(qū)超過432個,引進、服務新興制造業(yè)和科技型企業(yè)超過16000家。聯(lián)東U谷連續(xù)12年獲得國務院發(fā)展研究中心企業(yè)研究所、中指研究院等機構頒發(fā)的“中國產(chǎn)業(yè)園區(qū)運營優(yōu)秀企業(yè)”和“中國產(chǎn)業(yè)園區(qū)運營商優(yōu)秀品牌”榮譽,成為行業(yè)領軍品牌。志之所向,金石為開!我們極致追求,為區(qū)域經(jīng)濟發(fā)展、為新興企業(yè)發(fā)展提供獨具價值的服務,為中國實體經(jīng)濟發(fā)展做出更多的積極貢獻。
公司主頁