職位描述
Python數(shù)據(jù)清洗數(shù)據(jù)采集爬蟲開發(fā)requestsScrapySelenium影刀
工作職責?
1.設(shè)計并開發(fā)高性能分布式爬蟲架構(gòu)，支持Web網(wǎng)站數(shù)據(jù)抓取。
2.建立完整的數(shù)據(jù)采集、解析、存儲及監(jiān)控流程，確保數(shù)據(jù)實時性、完整性與準確性。
3.突破復雜反爬機制（如IP封禁、驗證碼、JS混淆、加密算法、動態(tài)渲染），配合反爬策略系統(tǒng)化設(shè)計。
4.對數(shù)據(jù)進行清洗、去重、結(jié)構(gòu)化數(shù)據(jù)，對接大數(shù)據(jù)存儲。
5.實時監(jiān)控爬蟲運行狀態(tài)，構(gòu)建警報反饋機制，快速響應網(wǎng)站策略變更。
6.探索AI輔助爬蟲技術(shù)（如自動化解析、OCR識別），推動團隊技術(shù)升級。
7.協(xié)同數(shù)據(jù)工程師優(yōu)化數(shù)據(jù)處理流程，支持業(yè)務端數(shù)據(jù)需求。
任職資格??
1.統(tǒng)招大專及以上學歷，計算機/數(shù)學/統(tǒng)計相關(guān)專業(yè)，1年以上爬蟲開發(fā)經(jīng)驗。
2.精通Python，正則表達式/CSS選擇器，能處理動態(tài)渲染頁面
3.熟練操作MySQL/MongoDB/Redis/ES，熟悉Kafka/RabbitMQ等消息隊列
4.熟練使用Scrapy/Selenium/Feapder等框架，具備高并發(fā)系統(tǒng)開發(fā)經(jīng)驗。
5.有分布式爬蟲架構(gòu)、海外平臺（如Cloudflare防護網(wǎng)站）突破經(jīng)驗者加分。
6.掌握JAVA/PHP/Vue，有反爬經(jīng)驗者優(yōu)先。???
7.強自驅(qū)力與問題解決能力，能獨立攻克技術(shù)難點（如瑞數(shù)加密、極驗驗證碼）。
8.良好的團隊協(xié)作意識，適應快節(jié)奏迭代需求
1.設(shè)計并開發(fā)高性能分布式爬蟲架構(gòu)，支持Web網(wǎng)站數(shù)據(jù)抓取。
2.建立完整的數(shù)據(jù)采集、解析、存儲及監(jiān)控流程，確保數(shù)據(jù)實時性、完整性與準確性。
3.突破復雜反爬機制（如IP封禁、驗證碼、JS混淆、加密算法、動態(tài)渲染），配合反爬策略系統(tǒng)化設(shè)計。
4.對數(shù)據(jù)進行清洗、去重、結(jié)構(gòu)化數(shù)據(jù)，對接大數(shù)據(jù)存儲。
5.實時監(jiān)控爬蟲運行狀態(tài)，構(gòu)建警報反饋機制，快速響應網(wǎng)站策略變更。
6.探索AI輔助爬蟲技術(shù)（如自動化解析、OCR識別），推動團隊技術(shù)升級。
7.協(xié)同數(shù)據(jù)工程師優(yōu)化數(shù)據(jù)處理流程，支持業(yè)務端數(shù)據(jù)需求。
任職資格??
1.統(tǒng)招大專及以上學歷，計算機/數(shù)學/統(tǒng)計相關(guān)專業(yè)，1年以上爬蟲開發(fā)經(jīng)驗。
2.精通Python，正則表達式/CSS選擇器，能處理動態(tài)渲染頁面
3.熟練操作MySQL/MongoDB/Redis/ES，熟悉Kafka/RabbitMQ等消息隊列
4.熟練使用Scrapy/Selenium/Feapder等框架，具備高并發(fā)系統(tǒng)開發(fā)經(jīng)驗。
5.有分布式爬蟲架構(gòu)、海外平臺（如Cloudflare防護網(wǎng)站）突破經(jīng)驗者加分。
6.掌握JAVA/PHP/Vue，有反爬經(jīng)驗者優(yōu)先。???
7.強自驅(qū)力與問題解決能力，能獨立攻克技術(shù)難點（如瑞數(shù)加密、極驗驗證碼）。
8.良好的團隊協(xié)作意識，適應快節(jié)奏迭代需求
查看全部
工作地點
上海楊浦區(qū)創(chuàng)智匯3號樓6層
相似職位
- 高級爬蟲工程師1.8-2.2萬
上海 - 閔行
上?，F(xiàn)代通用識別技術(shù)有限公司 - 爬蟲工程師9000-12000元
上海 - 寶山
軟通動力信息技術(shù)(集團)股份有限公司 上海 - 青浦
河北淺銀新能科技有限公司- python爬蟲工程師1.7-1.8萬
上海 - 徐匯
博彥科技承德有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
辛女士/HR
剛剛活躍立即溝通
上海畢得醫(yī)藥科技股份有限公司上海畢得醫(yī)藥科技股份有限公司（公司簡稱：畢得醫(yī)藥，股票代碼：688073）自2007年創(chuàng)立以來，始終專注于醫(yī)藥中間體、化學試劑及活性小分子化合物（抑制劑及激活劑）的研發(fā)、生產(chǎn)、銷售及合成定制。目前，公司匯聚了超過1000名優(yōu)秀人才，作為業(yè)內(nèi)翹楚的上市高新技術(shù)企業(yè)，我們以科技為引擎，為全球客戶奉獻品質(zhì)卓越的產(chǎn)品與服務。我們的產(chǎn)品豐富多樣，涵蓋各類醫(yī)藥中間體、化學試劑及活性小分子化合物，廣泛應用于醫(yī)藥研發(fā)、生命科學及新材料等領(lǐng)域。畢得研發(fā)中心分析實驗室配備各種等量級實驗反應儀器，擁有完備齊全的尖端檢測分析設(shè)備。研發(fā)團隊匯聚了200+高學歷、經(jīng)驗豐富的專業(yè)人士，專注市場需求研發(fā)創(chuàng)新，深受客戶信賴與好評。畢得醫(yī)藥已在美國、歐洲、印度等全球新藥研發(fā)高地設(shè)立了區(qū)域中心，緊跟全球醫(yī)藥前沿研發(fā)方向，能夠快速響應全球客戶對藥物分子砌塊和科學試劑的多樣化需求，更為員工提供了豐富的跨國工作機會。在畢得醫(yī)藥，企業(yè)文化是凝聚人心的力量之源。我們倡導創(chuàng)新、協(xié)作、責任和卓越的企業(yè)精神，致力于通過產(chǎn)品和研發(fā)創(chuàng)新，為全球醫(yī)藥和科研事業(yè)貢獻智慧與力量。加入畢得：從加入畢得的第一天起，你就會開啟一段激動人心的旅程。我們各種富有挑戰(zhàn)性的工作崗位，以及豐富的個人發(fā)展支持： 1.完善的培訓體系和職業(yè)晉升通道 2.廣闊的個人成長空間和持續(xù)的職業(yè)發(fā)展支持 3.豐厚的福利待遇：?競爭力的薪酬體系?多樣化的獎勵機制?完善的社保福利?豐富的員工活動?落戶支持如果你有夢想、有才華、有追求，畢得醫(yī)藥誠摯邀請你加入我們的行列，與我們攜手共創(chuàng)更加輝煌的未來！公司網(wǎng)址： https://www.bidepharmatech.com/ https://bldpharm.com/
公司主頁