国产中文无码av每日更新在线观看, 亚洲天堂中文字幕一区二区三区免费, 国产口爆吞精在线观视频-黄色国产, 92福利-国内精品久久久久久99,亚洲成AV人A片不卡无码,浪潮AV无码专区,老熟女败火白浆,中文字幕日产av,色情日本免费看大片

400-885-9898
更新于 7月22日
智聯(lián)APPAPP
舉報(bào)

爬蟲工程師

1-1.6萬(wàn)
  • 成都武侯區(qū)
  • 3-5年
  • 大專
  • 全職
  • 招1人

職位描述

Python反爬蟲分布式爬蟲爬蟲開發(fā)數(shù)據(jù)采集PySpiderPyppeteer
一、崗位職責(zé)：
1.負(fù)責(zé)分布式網(wǎng)絡(luò)爬蟲系統(tǒng)的架構(gòu)設(shè)計(jì)與開發(fā)，建立分布式網(wǎng)絡(luò)爬蟲系統(tǒng)；
2.負(fù)責(zé)跨境平臺(tái)中海量（百萬(wàn)級(jí)數(shù)據(jù)量）數(shù)據(jù)的爬取及數(shù)據(jù)比對(duì)；
3.負(fù)責(zé)其他品牌網(wǎng)站適配數(shù)據(jù)爬蟲開發(fā)及數(shù)據(jù)的全量抓??；
4.負(fù)責(zé)破解各類反爬機(jī)制，負(fù)責(zé)系統(tǒng)模擬點(diǎn)擊爬取工作；
5.不斷提升數(shù)據(jù)抓取系統(tǒng)的自動(dòng)化水平，負(fù)責(zé)一定程度的數(shù)據(jù)分析任務(wù)；
6.定期爬蟲任務(wù)部署及數(shù)據(jù)同步。
二、任職資格：
1.大專及以上學(xué)歷，英語(yǔ)四級(jí)及以上，計(jì)算機(jī)相關(guān)專業(yè)；
2.熟練掌握常用的數(shù)據(jù)庫(kù)（如myql.redi等）；熟練掌握Python，了解JavaScript.等網(wǎng)頁(yè)解析相關(guān)；
3.熟練使用elenium.requet.httplib2.crapy等常用爬蟲模塊，熟悉panda等數(shù)據(jù)處理工具優(yōu)先；
4.熟悉常見反爬策略，有JavaScript反爬.抓包分析.IP封鎖等領(lǐng)域經(jīng)驗(yàn)的優(yōu)先；
5.理解TCP/IP.HTTP.以及各類WEB登錄認(rèn)證的機(jī)制；
6.有爬取電商平臺(tái)如Amazon.eBay.天貓.京東經(jīng)驗(yàn)者優(yōu)先；
7.善于主動(dòng)學(xué)習(xí)，責(zé)任心強(qiáng)，良好的溝通表達(dá)能力。
三、所需技能：
數(shù)據(jù)分析、Python、Redis、Pandas、跨境電商、MySQL、爬蟲、反爬技術(shù)、 網(wǎng)絡(luò)爬蟲技術(shù)、分布式技術(shù)、Java、大數(shù)據(jù)、構(gòu)建團(tuán)隊(duì)

工作地點(diǎn)

成都武侯區(qū)四川小牛筑訊科技有限公司

職位發(fā)布者

閆晗/人事經(jīng)理

今日活躍
立即溝通