雇員點評標(biāo)簽
職位描述
Python反爬蟲互聯(lián)網(wǎng)
"工作職責(zé)：
1.根據(jù)迭代需求，協(xié)同爬蟲業(yè)務(wù)分析，完成各爬蟲需求的開發(fā)和自測工作。
2.研究并分析目標(biāo)網(wǎng)站的反爬機制，設(shè)計策略規(guī)避限制，如IP代理池、模擬用戶行為等；定期更新爬蟲策略，保持對復(fù)雜反爬機制的適應(yīng)性。
3.持續(xù)完善和調(diào)優(yōu)各種爬蟲任務(wù)的監(jiān)控告警，包括技術(shù)指標(biāo)監(jiān)控和業(yè)務(wù)指標(biāo)監(jiān)控。
4.及時響應(yīng)處理各種爬蟲任務(wù)監(jiān)控告警，按要求解決恢復(fù)。
1.根據(jù)迭代需求，協(xié)同爬蟲業(yè)務(wù)分析，完成各爬蟲需求的開發(fā)和自測工作。
2.研究并分析目標(biāo)網(wǎng)站的反爬機制，設(shè)計策略規(guī)避限制，如IP代理池、模擬用戶行為等；定期更新爬蟲策略，保持對復(fù)雜反爬機制的適應(yīng)性。
3.持續(xù)完善和調(diào)優(yōu)各種爬蟲任務(wù)的監(jiān)控告警，包括技術(shù)指標(biāo)監(jiān)控和業(yè)務(wù)指標(biāo)監(jiān)控。
4.及時響應(yīng)處理各種爬蟲任務(wù)監(jiān)控告警，按要求解決恢復(fù)。
"任職要求：
1.統(tǒng)招專科以上學(xué)歷，專業(yè)不限，計算機等理工科相關(guān)專業(yè)優(yōu)先；
2.2年以上互聯(lián)網(wǎng)爬蟲開發(fā)經(jīng)驗，有海外電商/航司網(wǎng)站數(shù)據(jù)獲取經(jīng)驗優(yōu)先
3.熟悉python常用開發(fā)框架，熟悉異步編程、網(wǎng)頁抓取原理、HTTP 協(xié)議等；
4.熟練掌握主流的爬蟲框架和工具，能夠靈活運用它們進行頁面解析、數(shù)據(jù)提取和持久化存儲；
5.具備解決常見反爬蟲手段的能力，如處理js逆向、破解驗證碼、風(fēng)控繞過等優(yōu)先；
6.熟練使用mysql、redis、mongo、kafka 等中間件;
7.抗壓能力強，學(xué)習(xí)能力強優(yōu)先，具備獨立思考能力。"
1.統(tǒng)招專科以上學(xué)歷，專業(yè)不限，計算機等理工科相關(guān)專業(yè)優(yōu)先；
2.2年以上互聯(lián)網(wǎng)爬蟲開發(fā)經(jīng)驗，有海外電商/航司網(wǎng)站數(shù)據(jù)獲取經(jīng)驗優(yōu)先
3.熟悉python常用開發(fā)框架，熟悉異步編程、網(wǎng)頁抓取原理、HTTP 協(xié)議等；
4.熟練掌握主流的爬蟲框架和工具，能夠靈活運用它們進行頁面解析、數(shù)據(jù)提取和持久化存儲；
5.具備解決常見反爬蟲手段的能力，如處理js逆向、破解驗證碼、風(fēng)控繞過等優(yōu)先；
6.熟練使用mysql、redis、mongo、kafka 等中間件;
7.抗壓能力強，學(xué)習(xí)能力強優(yōu)先，具備獨立思考能力。"
工作地點
北京朝陽區(qū)諾金中心
相似職位
- 惡意網(wǎng)站規(guī)則提取崗1.8-3萬
北京 - 昌平
工信通(北京)信息技術(shù)有限公司 - 爬蟲Python開發(fā)工程師9000-14000元
北京 - 朝陽
美通社 - 中高級python爬蟲工程師2-3萬
北京 - 石景山
北京大享科技有限公司 - 后端開發(fā)工程師1-1.8萬
北京 - 朝陽
美通社 - Python互聯(lián)網(wǎng)數(shù)據(jù)采集（爬蟲）開發(fā)工程師8000-16000元·13薪
北京 - 海淀
北京萬智信達(dá)智能科技有限公司 - python爬蟲工程師1.6-3萬
北京 - 朝陽
北京保盛航空服務(wù)有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- 海康威視招聘
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
肖文莉/招聘專員
昨日活躍立即溝通
中軟國際中軟國際是行業(yè)領(lǐng)先的全球化軟件與信息技術(shù)服務(wù)企業(yè)，成立于2000年，為香港主板上市公司（股票代碼：00354.HK），擁有中國分支40+、海外分支14個，擁有員工超過9萬人，服務(wù)覆蓋超過40個國家。中軟國際應(yīng)用開發(fā)與管理專業(yè)沉淀深厚，企業(yè)數(shù)字化轉(zhuǎn)型的最佳實踐和專家人才充沛。公司與華為等戰(zhàn)略伙伴一起，構(gòu)建軟件產(chǎn)業(yè)互聯(lián)網(wǎng)平臺，領(lǐng)先技術(shù)變革，提升產(chǎn)業(yè)效率，致力于使能軟件企業(yè)引領(lǐng)發(fā)展，服務(wù)制造企業(yè)轉(zhuǎn)型升級，為政企客戶提供“好、快、多、省”的信息技術(shù)服務(wù)。中軟國際四大業(yè)務(wù)蓬勃發(fā)展：夯實基石業(yè)務(wù)作為第一增長曲線的地位，確定云智能業(yè)務(wù)為第二增長曲線，發(fā)展鴻蒙生態(tài)、解放號為第三增長曲線，推動解放號作為軟件產(chǎn)業(yè)互聯(lián)網(wǎng)平臺全面升級。公司在云計算、大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等方面具有豐富的咨詢、設(shè)計、實施和服務(wù)經(jīng)驗，是全球客戶數(shù)字化轉(zhuǎn)型的共創(chuàng)伙伴。公司長期服務(wù)于多家全球500強企業(yè)等頭部客戶和眾多高成長潛力客戶，覆蓋金融、電信、互聯(lián)網(wǎng)、高科技、政府、制造與流通、交通、能源、教育等行業(yè)。公司已連續(xù)四年創(chuàng)造超百億人民幣營收，并立志在未來成為全球最優(yōu)秀IT服務(wù)商之一。
公司主頁