崗位職責:
1. 負責設計、開發(fā)和優(yōu)化網(wǎng)絡爬蟲系統(tǒng),以實現(xiàn)多平臺信息的高效抓取和分析;
2. 承擔分布式爬蟲系統(tǒng)的建設工作,優(yōu)化數(shù)據(jù)調(diào)度、抓取、解析和存儲流程;
3. 協(xié)助數(shù)據(jù)分析師完成數(shù)據(jù)分析任務,提供支持,并參與數(shù)據(jù)可視化工作;
任職要求:
1. 統(tǒng)招本科以上學歷,計算機相關專業(yè),具備扎實的計算機專業(yè)知識,對數(shù)據(jù)敏感;
2. 至少熟練掌握一門編程語言(如Python、Ruby等),并具備良好的程序設計能力;
3. 熟悉常見的爬蟲框架,包括Scrapy、Selenium等;
4. 具備常見數(shù)據(jù)庫使用經(jīng)驗,熟練使用 SQL,如Postgres、MySQL等;
其他加分項:
1. 具備豐富的反爬經(jīng)驗,熟悉常見的反爬手段和對策;
2. 對新技術和工具有敏銳的洞察力,能夠快速學習和應用。