職位描述
Python分布式爬蟲反爬蟲人工智能
核心職責(zé)
數(shù)據(jù)抓取開發(fā)
設(shè)計(jì)并開發(fā)高效、穩(wěn)定的分布式爬蟲系統(tǒng)，針對(duì)目標(biāo)網(wǎng)站進(jìn)行結(jié)構(gòu)化數(shù)據(jù)采集。
處理動(dòng)態(tài)頁(yè)面（如 JavaScript 渲染）、驗(yàn)證碼、登錄限制等反爬策略。
優(yōu)化爬蟲性能，確保高并發(fā)、低延遲的數(shù)據(jù)抓取。
任職要求
必備技能
有爬取京東，淘寶，拼多多等電商網(wǎng)站的經(jīng)驗(yàn)
精通 Python，熟悉 Fapder、Scrapy、BeautifulSoup、Selenium、Playwright 等爬蟲框架/工具。
熟悉 HTTP/HTTPS 協(xié)議，掌握網(wǎng)頁(yè)解析技術(shù)（XPath、CSS Selector、正則表達(dá)式）。
熟悉數(shù)據(jù)庫(kù)操作（SQL/NoSQL），具備數(shù)據(jù)清洗和ETL經(jīng)驗(yàn)。
了解反爬機(jī)制（如 IP 封鎖、用戶行為檢測(cè)），具備應(yīng)對(duì)經(jīng)驗(yàn)。
數(shù)據(jù)抓取開發(fā)
設(shè)計(jì)并開發(fā)高效、穩(wěn)定的分布式爬蟲系統(tǒng)，針對(duì)目標(biāo)網(wǎng)站進(jìn)行結(jié)構(gòu)化數(shù)據(jù)采集。
處理動(dòng)態(tài)頁(yè)面（如 JavaScript 渲染）、驗(yàn)證碼、登錄限制等反爬策略。
優(yōu)化爬蟲性能，確保高并發(fā)、低延遲的數(shù)據(jù)抓取。
任職要求
必備技能
有爬取京東，淘寶，拼多多等電商網(wǎng)站的經(jīng)驗(yàn)
精通 Python，熟悉 Fapder、Scrapy、BeautifulSoup、Selenium、Playwright 等爬蟲框架/工具。
熟悉 HTTP/HTTPS 協(xié)議，掌握網(wǎng)頁(yè)解析技術(shù)（XPath、CSS Selector、正則表達(dá)式）。
熟悉數(shù)據(jù)庫(kù)操作（SQL/NoSQL），具備數(shù)據(jù)清洗和ETL經(jīng)驗(yàn)。
了解反爬機(jī)制（如 IP 封鎖、用戶行為檢測(cè)），具備應(yīng)對(duì)經(jīng)驗(yàn)。
工作地點(diǎn)
寶山區(qū)萬(wàn)達(dá)廣場(chǎng)(上海寶山店)
相似職位
- 爬蟲工程師（app逆向）1.8-3萬(wàn)·13薪
上海
上海思勃商務(wù)咨詢有限公司 - 爬蟲工程師2-2.2萬(wàn)
上海 - 長(zhǎng)寧
上海微創(chuàng)軟件股份有限公司 - 急招-AI數(shù)據(jù)采集師（線上面試）1.2-2.2萬(wàn)
上海 - 徐匯
拓保軟件
- 爬蟲工程師9000-11000元
上海 - 浦東
猿圈圈智能技術(shù)(南京)有限公司 - 爬蟲工程師1-1.5萬(wàn)
上海 - 浦東
上海問道云人工智能科技有限公司 - 爬蟲工程師1-2萬(wàn)
上海 - 徐匯
深圳市法本信息技術(shù)股份有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國(guó)一汽招聘
- 北京汽車招聘
- 蔚來(lái)招聘
- 東風(fēng)汽車招聘
- 長(zhǎng)城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長(zhǎng)鑫存儲(chǔ)招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時(shí)代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動(dòng)招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國(guó)移動(dòng)招聘
- 中國(guó)聯(lián)通招聘
- 中國(guó)電信招聘
- 中糧集團(tuán)招聘
- 國(guó)藥控股招聘
- 中廣核招聘
- 中國(guó)船舶招聘
- 強(qiáng)生中國(guó)招聘
- 匯豐中國(guó)招聘
- 宜家招聘
- 立邦中國(guó)招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
金先生/HR
三日內(nèi)活躍立即溝通
上海岑澤網(wǎng)絡(luò)科技有限公司
上海岑澤網(wǎng)絡(luò)科技有限公司辦公室地址位于中國(guó)國(guó)際經(jīng)濟(jì)、金融、貿(mào)易、航運(yùn)中心，魔都上海，上海上海市寶山區(qū)共康地鐵站附近，在公司發(fā)展壯大的3年里，我們始終為客戶提供好的產(chǎn)品和技術(shù)支持、健全的售后服務(wù)，我公司主要經(jīng)營(yíng)從事網(wǎng)絡(luò)、電子科技領(lǐng)域內(nèi)的技術(shù)開發(fā)、技術(shù)咨詢、技術(shù)服務(wù)、技術(shù)轉(zhuǎn)讓；計(jì)算機(jī)軟件的開發(fā)；計(jì)算機(jī)安裝及維修（除?？兀?；弱電工程、計(jì)算機(jī)網(wǎng)絡(luò)工程；計(jì)算機(jī)信息系統(tǒng)集成；網(wǎng)頁(yè)設(shè)計(jì)。我們有好的產(chǎn)品和專業(yè)的銷售和技術(shù)團(tuán)隊(duì)，我公司屬于上海計(jì)算機(jī)網(wǎng)絡(luò)設(shè)備廠黃頁(yè)行業(yè)，如果您對(duì)我公司的產(chǎn)品服務(wù)有興趣，期待您在線留言或者來(lái)電咨詢
公司主頁(yè)