崗位職責:
1、負責爬蟲策略和防屏蔽規(guī)則設計,后臺爬蟲數(shù)據(jù)存儲設計以及代碼實現(xiàn);
2、負責網(wǎng)頁采集任務的分析及采集方案設計及實現(xiàn)。
崗位要求:
1、本科及以上學歷,2年以上開發(fā)工作經(jīng)驗,Python基礎扎實;
2、熟悉多線程、多進程、協(xié)程開發(fā)、網(wǎng)絡編程,精通網(wǎng)頁抓取原理及技術的實現(xiàn)細節(jié);
3、掌握HTML、CSS、JQuery、RESTful 相關技術;
4、具有良好的站點分析經(jīng)驗,能獨立處理基于(session, cookie)、(Access Token, Token)、(selenium, splash)、(訪問量, 訪問頻率)的反爬自主設計爬取流程;
5、熟悉基于規(guī)則的網(wǎng)頁信息定位,精通正則表達式,xpath語法;
6、精通原生Python urllib爬取方式、精通原生Python requests爬取方式、精通框架Python scrapy的爬取方式、熟悉Python aiohttp 異步請求框架的爬取方式;
7、熟悉掌握一種或多種熱門關系型數(shù)據(jù)庫和非關系型數(shù)據(jù)庫、熟練使用版本管理工具;
8、熱愛互聯(lián)網(wǎng),對搜索技術和探索未知領域有濃厚興趣;
9、能夠高效地溝通,并與團隊或跨團隊同事有效地協(xié)作辦公。
職位福利:周末雙休、五險一金、績效獎金、全勤獎、帶薪年假、節(jié)日福利