国产中文无码av每日更新在线观看, 亚洲天堂中文字幕一区二区三区免费, 国产口爆吞精在线观视频-黄色国产, 92福利-国内精品久久久久久99,亚洲成AV人A片不卡无码,浪潮AV无码专区,老熟女败火白浆,中文字幕日产av,色情日本免费看大片

崗位職責(zé): 職責(zé)描述： 1、負(fù)責(zé)設(shè)計(jì)爬取、調(diào)度和分布式高可用的實(shí)現(xiàn)，對(duì)海量的目標(biāo)網(wǎng)站編寫規(guī)則進(jìn)行抓取，處理常見(jiàn)的反爬問(wèn)題；； 2、負(fù)責(zé)網(wǎng)頁(yè)信息、圖片、視頻等數(shù)據(jù)的抽取、清洗、消重等工作，提升平臺(tái)的抓取效率; 3、編寫維護(hù)產(chǎn)品中用到一些自動(dòng)化腳本(自動(dòng)化部署、自動(dòng)化測(cè)試等) ; 4、掌握一定的機(jī)器學(xué)習(xí)技術(shù)和AI技術(shù)，對(duì)現(xiàn)有系統(tǒng)進(jìn)行智能化改造能有思路并提出建設(shè)性意見(jiàn)； 5、有良好的代碼習(xí)慣，結(jié)構(gòu)清晰，熟悉Git版本管理；維護(hù)爬蟲服務(wù)器，保證其穩(wěn)定運(yùn)行； 6、對(duì)已爬取的數(shù)據(jù)定期進(jìn)行巡檢工作，保證各渠道源爬取穩(wěn)定。 任職要求： 1、 具有3年以上Python開(kāi)發(fā)工作經(jīng)驗(yàn)，善于溝通，工作積極，態(tài)度認(rèn)真，有主動(dòng)學(xué)習(xí)精神； 2、 熟練掌握Python語(yǔ)言，掌握scrapy、selenium、puppeteer等數(shù)據(jù)抓取方面常用的python庫(kù)； 3、 精通爬蟲相關(guān)技術(shù)(requests/xpath/scrapy/正則表達(dá)式/驗(yàn)證碼加密處理/代理池)； 4、 熟悉HTTP協(xié)議，掌握html/css/js/jquery/ajax等相關(guān)知識(shí)； 5、 熟悉js加密，了解python常見(jiàn)執(zhí)行js方法，如pyv8； 6、 掌握常用數(shù)據(jù)庫(kù)（如：MySQL，Mongodb）及相應(yīng)DDL/DML，熟悉索引及常規(guī)SQL調(diào)優(yōu)。 7、有海量數(shù)據(jù)爬取經(jīng)驗(yàn)者優(yōu)先，有大數(shù)據(jù)量、大并發(fā)項(xiàng)目經(jīng)驗(yàn)者優(yōu)先，有互聯(lián)網(wǎng)、電商平臺(tái)、移動(dòng)端數(shù)據(jù)爬取技術(shù)經(jīng)驗(yàn)者優(yōu)先； 8 、 優(yōu)秀的跨部門溝通和團(tuán)隊(duì)協(xié)作能力，關(guān)注細(xì)節(jié)，執(zhí)行能力強(qiáng)，工作態(tài)度嚴(yán)謹(jǐn)。 相關(guān)工作經(jīng)驗(yàn): 3年 必備技能: Python/爬蟲