崗位職責(zé):
1、精通Pythom:熟練掌握Python編程語(yǔ)言及其核心特性(如面向?qū)ο?、多線程/多進(jìn)程/協(xié)程)。
2、爬蟲框架與庫(kù):精通至少一種主流Python爬蟲框架，如Scrapy).熟悉Requests.BeautifulSoup.Selenium.Playwright.Pyppeteer 等常用庫(kù)。
3、分析井應(yīng)對(duì)網(wǎng)站反爬機(jī)制(如IP封鎖、驗(yàn)證碼、User-Agent驗(yàn)證、動(dòng)態(tài)加載，通過(guò)代理池構(gòu)建、驗(yàn)證碼識(shí)別、模擬覽器行為等技術(shù)優(yōu)化爬蟲策略，降低采集風(fēng)險(xiǎn)。
4、數(shù)據(jù)提取與處理熟練掌握XPath.CS5Selectors.正則表達(dá)式等數(shù)據(jù)提取技術(shù):具備優(yōu)秀的數(shù)據(jù)清洗、抽取和結(jié)構(gòu)化能力。
5、數(shù)據(jù)庫(kù):熟練掌握SQL和NOSQL數(shù)據(jù)庫(kù)產(chǎn)品(如MySQLMongoDB.Redis等)，能夠進(jìn)行高效的數(shù)據(jù)存儲(chǔ)和查詢。
6、基礎(chǔ)環(huán)境:熟悉Linux/Unix操作系統(tǒng)常用命令:熟悉Git等版本控制工凡。
[任職資格]
1、5年以上工作經(jīng)驗(yàn)，有大規(guī)模分布式爬蟲系統(tǒng)設(shè)計(jì)和開發(fā)經(jīng)驗(yàn)
2、熟悉Docker,Kubemetes等容器化技術(shù)。
3、有JavaScript逆向工程經(jīng)驗(yàn)。
4、熟悉消息隊(duì)列如(afka,RabbitMQ)
5、有大數(shù)據(jù)處理經(jīng)驗(yàn)(如Hadoop.Spark)計(jì)算機(jī)科學(xué)、軟件工程、信息技術(shù)或相關(guān)專業(yè)優(yōu)先
薪資福利：
具體面談