亚洲色综合网,亚洲国产成人手机VR在线电影

登錄/注冊(cè) 我要招人

400-885-9898

更新于 8月28日

APP

舉報(bào)

爬蟲工程師

1.6-3萬·13薪

北京石景山區(qū)
3-5年
本科
全職
招1人

職位描述

JavaScriptHTMLCSSPython數(shù)據(jù)采集爬蟲開發(fā)分布式爬蟲人工智能計(jì)算機(jī)軟件

崗位職責(zé)：

1. 負(fù)責(zé)多類型網(wǎng)頁(yè)數(shù)據(jù)（動(dòng)態(tài)/靜態(tài)）的自動(dòng)化采集、解析及清洗結(jié)構(gòu)化存儲(chǔ)，確保高覆蓋率與數(shù)據(jù)準(zhǔn)確性，支撐業(yè)務(wù)復(fù)雜需求。

2. 處理諸如速率限制、動(dòng)態(tài)內(nèi)容和網(wǎng)站更改等挑戰(zhàn)。

崗位要求

1. 近期1年以上爬蟲經(jīng)驗(yàn)，熟悉最新爬蟲動(dòng)向；

2. 精通Python及主流框架（Scrapy/PySpider二次開發(fā)經(jīng)驗(yàn)優(yōu)先），掌握XPath/CSS/正則/BeautifulSoup等解析技術(shù)，能熟練處理JSON/XML等結(jié)構(gòu)化數(shù)據(jù)。

3. 具備基礎(chǔ)反爬應(yīng)對(duì)能力,能分析常見加密參數(shù)（如Token、Sign）熟悉請(qǐng)求頭偽裝等反封禁策略。

4. 熟悉Headless瀏覽器技術(shù)（Playwright/Puppeteer/Selenium），能處理大規(guī)模JS渲染頁(yè)面。

5. 了解JS逆向及熟悉常見加密算法（AES、RSA等），有主流平臺(tái)（如有小紅書筆記詳情頁(yè)API逆向或抖音X-Bogus參數(shù)破解）經(jīng)驗(yàn)優(yōu)先。

6. 了解分布式消息隊(duì)列（Kafka/RabbitMQ）、高性能存儲(chǔ)（ES/HBase/Doris）及數(shù)據(jù)庫(kù)（MySQL/MongoDB/Redis）等

7. 熟悉APP逆向工具（JADX/Frida/Xposed），具備Android so庫(kù)分析或Hook開發(fā)經(jīng)驗(yàn)優(yōu)先。

8. 注重代碼可維護(hù)性，有文檔編寫習(xí)慣。

薪酬待遇

1. 繳納五險(xiǎn)一金，雙休