1、熟練運(yùn)用 Python 爬蟲相關(guān)技術(shù)，負(fù)責(zé)多源數(shù)據(jù)采集工作，獨(dú)立構(gòu)建穩(wěn)定的爬蟲采集鏈路，為數(shù)據(jù)分析提供高質(zhì)量數(shù)據(jù)源；
2、主導(dǎo)數(shù)據(jù)分析，挖掘數(shù)據(jù)價(jià)值，為業(yè)務(wù)訴求、痛點(diǎn)及問題提供建議；
3、深入理解業(yè)務(wù)場(chǎng)景，進(jìn)行數(shù)據(jù)分析開展策略研究，利用數(shù)據(jù)分析手段，及時(shí)發(fā)現(xiàn)業(yè)務(wù)流程中存在的問題，進(jìn)行原因分析，提出解決方案，發(fā)現(xiàn)業(yè)務(wù)增長(zhǎng)點(diǎn)，輸出高質(zhì)量的洞察和判斷，為決策提供引導(dǎo)；
4、與項(xiàng)目及產(chǎn)品團(tuán)隊(duì)緊密合作，理解業(yè)務(wù) / 產(chǎn)品背景與需求，挖掘算法應(yīng)用需求，形成解決方案，并進(jìn)行可行性評(píng)估；
5、分析并應(yīng)對(duì)網(wǎng)站反爬機(jī)制（如 IP 封鎖、驗(yàn)證碼、User-Agent 驗(yàn)證、動(dòng)態(tài)加載），具備代理池搭建、驗(yàn)證碼識(shí)別、模擬瀏覽器行為等反爬應(yīng)對(duì)能力，優(yōu)化爬蟲策略降低采集風(fēng)險(xiǎn)；
6、熟練掌握 XPath、CSS Selectors、正則表達(dá)式等數(shù)據(jù)提取技術(shù)，完成采集數(shù)據(jù)的結(jié)構(gòu)化處理，保障數(shù)據(jù)分析數(shù)據(jù)源質(zhì)量；
7、負(fù)責(zé)爬蟲采集系統(tǒng)的日常維護(hù)、迭代優(yōu)化，監(jiān)控采集數(shù)據(jù)質(zhì)量，及時(shí)處理采集異常，保障數(shù)據(jù)采集的穩(wěn)定性和準(zhǔn)確性；
8、配合業(yè)務(wù)需求，優(yōu)化數(shù)據(jù)采集節(jié)奏、采集維度，結(jié)合數(shù)據(jù)分析結(jié)果提升采集效率和數(shù)據(jù)價(jià)值。
任職要求:
1、統(tǒng)招大學(xué)本科；統(tǒng)計(jì)學(xué)、應(yīng)用數(shù)學(xué)、計(jì)算機(jī)等專業(yè)背景；
2、3年以上數(shù)據(jù)采集 / 數(shù)據(jù)分析相關(guān)工作經(jīng)驗(yàn)，有大規(guī)模分布式爬蟲系統(tǒng)設(shè)計(jì)和開發(fā)經(jīng)驗(yàn)者優(yōu)先。
3、能夠獨(dú)立熟練使用 Python、R、Matlab 等至少一種編程語言進(jìn)行獨(dú)立建模；熟練使用 Python 處理網(wǎng)絡(luò)請(qǐng)求、解析 HTML/XML、異步編程、多線程 / 協(xié)程等爬蟲核心技術(shù)；
4、熟練使用 HIVE、Oracle、MySQL 等數(shù)據(jù)庫，有 TB 級(jí)數(shù)據(jù)處理經(jīng)驗(yàn)優(yōu)先；熟悉 MongoDB、Redis 等 NoSQL 存儲(chǔ)，具備大規(guī)模爬蟲數(shù)據(jù)的結(jié)構(gòu)化存儲(chǔ)與高效查詢能力；了解分布式數(shù)據(jù)采集與數(shù)據(jù)流處理架構(gòu)；
5、掌握常用的機(jī)器學(xué)習(xí)算法原理、框架和應(yīng)用；熟悉數(shù)理統(tǒng)計(jì)、數(shù)據(jù)挖掘理論知識(shí)，可熟練運(yùn)用數(shù)據(jù)挖掘、數(shù)據(jù)分析、數(shù)據(jù)可視化等技術(shù)進(jìn)行海量數(shù)據(jù)分析和處理；熟悉 Python 爬蟲開發(fā)體系（Requests、BeautifulSoup、Scrapy、Playwright、Pyppeteer 等），能獨(dú)立構(gòu)建穩(wěn)定可靠的采集系統(tǒng)；
6、了解爬蟲分布式架構(gòu)、任務(wù)調(diào)度機(jī)制，熟悉 Kafka/RabbitMQ 等消息隊(duì)列、Docker/Kubernetes 容器化技術(shù)者優(yōu)先；
7、熟悉 1 個(gè)或以上行業(yè)知名的 BI 軟件，并有用于數(shù)據(jù)分析項(xiàng)目中的經(jīng)驗(yàn)者優(yōu)先；具備前端動(dòng)態(tài)頁面分析能力，了解 JS 逆向工程、反爬分析技術(shù)者優(yōu)先；
8、能夠獨(dú)立負(fù)責(zé)采集模塊開發(fā)、維護(hù)與迭代，具備應(yīng)對(duì)復(fù)雜反爬場(chǎng)景的能力；
9、對(duì)數(shù)據(jù)敏感，具備良好的問題分析解決能力、語言表達(dá)能力和文檔寫作能力；能快速分析采集鏈路瓶頸、數(shù)據(jù)異常、采集失敗原因等問題，并提出有效優(yōu)化方案；
10、優(yōu)秀的理解溝通能力，能快速理解業(yè)務(wù)背景，并協(xié)調(diào)推進(jìn)執(zhí)行落地；能與業(yè)務(wù)、開發(fā)、算法團(tuán)隊(duì)高效協(xié)作，推動(dòng)采集系統(tǒng)落地與迭代；