交易數(shù)據(jù)爬蟲插件工具開發(fā),包括可視化部分
【python爬蟲工程師】
崗位職責(zé):
1、爬蟲系統(tǒng)開發(fā):設(shè)計并開發(fā)高效、穩(wěn)定的網(wǎng)絡(luò)爬蟲系統(tǒng),確保數(shù)據(jù)準(zhǔn)確性和完整性。
2、系統(tǒng)優(yōu)化:優(yōu)化爬蟲抓取策略與調(diào)度策略,維護(hù)現(xiàn)有系統(tǒng),提升抓取速度與數(shù)據(jù)質(zhì)量。
3、數(shù)據(jù)處理:負(fù)責(zé)數(shù)據(jù)采集、解析、清洗、入庫及統(tǒng)計工作。
4、系統(tǒng)監(jiān)控:監(jiān)控爬蟲運行狀態(tài),及時處理異常, 確保系統(tǒng)穩(wěn)定性。
崗位要求:
1、教育背景:計算機(jī)科學(xué)、數(shù)學(xué)、統(tǒng)計學(xué)、電氣工程或相關(guān)領(lǐng)域統(tǒng)招本科及以上學(xué)歷;
2、技術(shù)能力:熟練使Python,掌握Scrapy、 BeautifulSoup、Selenium等框架。
3、網(wǎng)絡(luò)協(xié)議與反爬蟲:熟悉HTTP/HTTPS協(xié)議, 能解決封IP、驗證碼、JS逆向等反爬蟲問題。
4、數(shù)據(jù)存儲與處理:熟悉MySQL、Redis等工具。
5、網(wǎng)頁抓取技術(shù):精通網(wǎng)頁抓取原理與正則表達(dá)式,能從結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)中提取信息。
6、有能源、電力領(lǐng)域經(jīng)驗者優(yōu)先。