職位描述
ScrapyrequestsMongoDBBeautifulSoupLANGCHAIN應(yīng)用RAG系統(tǒng)開發(fā)計(jì)算機(jī)軟件
崗位職責(zé)：
負(fù)責(zé)設(shè)計(jì)和開發(fā)高性能、高可用的分布式網(wǎng)絡(luò)爬蟲系統(tǒng)，保障數(shù)據(jù)采集的效率和穩(wěn)定性；
使用Elasticsearch構(gòu)建搜索和分析系統(tǒng)，實(shí)現(xiàn)海量數(shù)據(jù)的快速檢索與聚合；
基于MongoDB/Redis設(shè)計(jì)數(shù)據(jù)存儲(chǔ)方案，優(yōu)化數(shù)據(jù)庫性能及查詢效率；
對(duì)接阿里云OSS等對(duì)象存儲(chǔ)服務(wù)，管理非結(jié)構(gòu)化數(shù)據(jù)資源；
參與LLM（大語言模型）相關(guān)項(xiàng)目的開發(fā)，包括數(shù)據(jù)預(yù)處理、特征工程及API集成；
持續(xù)優(yōu)化系統(tǒng)架構(gòu)，解決高并發(fā)、分布式場(chǎng)景下的技術(shù)難題。
任職要求：
本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)，3年以上Python開發(fā)經(jīng)驗(yàn)；
精通Scrapy/Requests/BeautifulSoup等爬蟲框架，熟悉反爬機(jī)制破解（驗(yàn)證碼識(shí)別、IP代理等）；
熟練掌握以下至少兩種數(shù)據(jù)庫技術(shù)：
Elasticsearch（索引設(shè)計(jì)、分詞優(yōu)化、聚合查詢）
MongoDB（副本集、分片集群、聚合管道）
Redis（數(shù)據(jù)結(jié)構(gòu)、持久化、集群模式）
熟悉阿里云OSS/S3等對(duì)象存儲(chǔ)服務(wù)，了解文件分片上傳和CDN加速；
有LLM項(xiàng)目經(jīng)驗(yàn)者優(yōu)先（如：LangChain應(yīng)用、RAG系統(tǒng)開發(fā)、Prompt工程等）；
熟悉分布式系統(tǒng)設(shè)計(jì)，了解Celery/Dask等異步任務(wù)框架；
良好的編碼習(xí)慣，能獨(dú)立完成技術(shù)方案設(shè)計(jì)和文檔編寫。
工作地點(diǎn)
鹽田區(qū)華大時(shí)空中心深圳-大梅沙（時(shí)空中心）
相似職位
- Python爬蟲（實(shí)習(xí)生）150-200元/天
深圳 - 寶安
深圳市胖達(dá)摸魚科技有限公司 深圳 - 福田
華檢企業(yè)管理(深圳)有限公司- python爬蟲工程師1.5-2.3萬
深圳 - 寶安
中電金信軟件有限公司 - python爬蟲工程師【線上面試+反饋快】1-1.7萬
深圳 - 龍華
軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司 - 數(shù)據(jù)爬蟲工程師3.5-4萬
深圳 - 南山
香港城市大學(xué)深圳研究院 - python爬蟲工程師1-1.6萬
深圳 - 福田
深圳盛豐易科技有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲(chǔ)招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時(shí)代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動(dòng)招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國移動(dòng)招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團(tuán)招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強(qiáng)生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
陳慧慧/人事經(jīng)理
三日內(nèi)活躍立即溝通
深圳建廣數(shù)字科技有限公司青島分公司
深圳建廣數(shù)字科技有限公司是中國領(lǐng)先的傳統(tǒng)產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型完整IT解決方案和端到端IT服務(wù)的提供商。公司在北京、上海、廣州、深圳、武漢、青島、大連、無錫等地均設(shè)有分支機(jī)構(gòu)。二十余年來一直在數(shù)字化轉(zhuǎn)型領(lǐng)域持續(xù)積累，致力于為客戶提供具有行業(yè)特色、覆蓋企業(yè)數(shù)字化轉(zhuǎn)型所需的整體解決方案以及相關(guān)的端到端服務(wù)。800多位專家顧問，1700多位專業(yè)服務(wù)人員，以專業(yè)精神、豐富的經(jīng)驗(yàn)和出色的服務(wù)享譽(yù)業(yè)界。迄今已服務(wù)超過800多家包括財(cái)富500強(qiáng)在內(nèi)的國內(nèi)外眾多客戶，獲得廣泛贊譽(yù)。公司一直致力于助力傳統(tǒng)產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型（Digital transformation），在建立數(shù)字化轉(zhuǎn)換（Digitization）、數(shù)字化升級(jí)（Digitalization）基礎(chǔ)上，進(jìn)一步賦能公司核心業(yè)務(wù)，以新建一種商業(yè)模式為目標(biāo)的高層次轉(zhuǎn)型。圍繞這一理念，公司已建立起套裝軟件及服務(wù)、數(shù)字化解決方案及服務(wù)、IT開發(fā)與外包服務(wù)三大縱深賦能體系。并滿足客戶從咨詢、技術(shù)實(shí)施到運(yùn)維完整的端到端需求。
公司主頁