崗位職責(zé):
1、負(fù)責(zé)解決爬蟲高難度技術(shù)問題。例如，解決數(shù)據(jù)采集過程中的反爬蟲策略問題，分布式爬蟲架構(gòu)的開發(fā)及迭代等；
2、負(fù)責(zé)爬蟲業(yè)務(wù)需求對(duì)接、開發(fā)和交付。包括業(yè)務(wù)需求對(duì)齊，設(shè)計(jì)并實(shí)現(xiàn)高效的數(shù)據(jù)采集方案，確保數(shù)據(jù)交付的實(shí)時(shí)性和準(zhǔn)確性；
3、負(fù)責(zé)技術(shù)提升及團(tuán)隊(duì)管理。包括技術(shù)分享、賦能指導(dǎo)等提升團(tuán)隊(duì)技術(shù)能力；?負(fù)責(zé)人員績效制定及評(píng)價(jià)等，提升團(tuán)隊(duì)技術(shù)能力與協(xié)作效率。
任職要求:
1、統(tǒng)招本科及以上學(xué)歷，計(jì)算機(jī)、電子信息、軟件工程等相關(guān)專業(yè)，5年以上爬蟲相關(guān)工作經(jīng)驗(yàn)；
2、熟練掌握Python編程語言，熟練使用正則表達(dá)式、requests、xpath等模塊，Linux開發(fā)環(huán)境、基本shell命令、具備linux軟件部署能力等；掌握常用數(shù)據(jù)庫操作，redis、mongodb，mysql等；
3、熟練使用爬蟲技術(shù)棧，掌握web端數(shù)據(jù)采集、html解析、js逆向、常用的爬蟲框架(如Scrapy、自動(dòng)化等)等技術(shù)，掌握多種反爬解決方案；
4、帶過5人及以上團(tuán)隊(duì)，做過1個(gè)以上完整的項(xiàng)目交付；
5、具有良好的抗壓、數(shù)據(jù)分析與文檔撰寫能力，具備敬業(yè)精神和團(tuán)隊(duì)合作意識(shí)。