職位描述:
1、分布式采集系統(tǒng)的開(kāi)發(fā),參與采集系統(tǒng)存儲(chǔ),傳輸,調(diào)度,監(jiān)控的設(shè)計(jì)與研發(fā);
2、對(duì)JS逆向與APP逆向有一定的了解,能夠及時(shí)解決常見(jiàn)的逆向問(wèn)題;
3、研究采集策略和防屏蔽規(guī)則,解決算法還原,so層,頁(yè)面跳轉(zhuǎn)等難點(diǎn)攻克,提升網(wǎng)頁(yè)抓取的效率和質(zhì)量;
4、負(fù)責(zé)數(shù)據(jù)采集系統(tǒng)平臺(tái)的維護(hù)與更新(如抓取調(diào)度,多樣化抓取,頁(yè)面解析和結(jié)構(gòu)化抽取)、技術(shù)選型;
任職要求
1. 統(tǒng)招本科及以上學(xué)歷,計(jì)算機(jī)等相關(guān)專業(yè),具備Python或Java開(kāi)發(fā)經(jīng)驗(yàn);
2. 熟悉自動(dòng)化測(cè)試框架,如appnium,selenium等;
3. 熟悉爬蟲(chóng)及反爬原理和逆向分析,熟悉常用技術(shù)框架(如Scrapy、Pyspider、RPA等)
4、熟悉JS逆向以及app逆向、熟悉各種通用加密算法、掌握各種常用逆向工具;
5、有一定應(yīng)對(duì)數(shù)據(jù)采集限制的經(jīng)驗(yàn),有一定的app逆向經(jīng)驗(yàn)者優(yōu)先;
6、熟練掌握kafka、mongodb、mysql、redis等, 了解分布式,有分布式爬蟲(chóng)開(kāi)發(fā)經(jīng)歷更佳