国产中文无码av每日更新在线观看, 亚洲天堂中文字幕一区二区三区免费, 国产口爆吞精在线观视频-黄色国产, 92福利-国内精品久久久久久99,亚洲成AV人A片不卡无码,浪潮AV无码专区,老熟女败火白浆,中文字幕日产av,色情日本免费看大片

更新于 今天

爬蟲工程師(音視頻數(shù)據(jù)方向)

2-4萬
  • 北京海淀區(qū)
  • 中關(guān)村
  • 1-3年
  • 本科
  • 全職
  • 招1人

雇員點(diǎn)評標(biāo)簽

  • 工作環(huán)境好
  • 同事很nice
  • 人際關(guān)系好
  • 氛圍活躍
  • 團(tuán)隊(duì)執(zhí)行強(qiáng)
  • 交通便利

職位描述

Python數(shù)據(jù)采集爬蟲開發(fā)Scrapyrequests
工作職責(zé):
1. 負(fù)責(zé)互聯(lián)網(wǎng)音頻、視頻平臺的數(shù)據(jù)采集,包括節(jié)目/專輯/視頻元數(shù)據(jù)、評論、播放數(shù)據(jù)等信息的抓取與結(jié)構(gòu)化整理。
2. 設(shè)計(jì)并實(shí)現(xiàn)穩(wěn)定高效的音視頻爬蟲系統(tǒng),支持大規(guī)模、多站點(diǎn)的持續(xù)采集與更新。
3. 針對主流音視頻平臺的反爬機(jī)制(登錄態(tài)校驗(yàn)、頻控、滑塊驗(yàn)證碼、JS 加密、動態(tài)接口、加密鏈接等)進(jìn)行分析與對抗,持續(xù)提升成功率與穩(wěn)定性。
4. 參與音視頻資源解析相關(guān)工作,如播放地址/m3u8/DASH 等協(xié)議分析、加密參數(shù)解析、接口抓包與協(xié)議還原(僅用于合法合規(guī)場景)。
5. 搭建數(shù)據(jù)采集監(jiān)控體系,包含任務(wù)調(diào)度、失敗重試、數(shù)據(jù)質(zhì)量監(jiān)控、告警與日志分析。
6. 持續(xù)優(yōu)化爬蟲框架與采集策略,提升抓取效率、降低帶寬與存儲開銷。
7. 與產(chǎn)品、算法、數(shù)據(jù)、內(nèi)容運(yùn)營等團(tuán)隊(duì)配合,根據(jù)業(yè)務(wù)需求設(shè)計(jì)數(shù)據(jù)采集方案,為推薦、內(nèi)容分析、風(fēng)控等場景提供數(shù)據(jù)支持。
8. 編寫和維護(hù)相關(guān)技術(shù)文檔、開發(fā)規(guī)范,參與爬蟲平臺的架構(gòu)演進(jìn)。
任職要求:
1. 本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè)優(yōu)先,具備 1 年及以上互聯(lián)網(wǎng)爬蟲或數(shù)據(jù)采集相關(guān)經(jīng)驗(yàn)(優(yōu)秀者可適當(dāng)放寬)。
2. 精通 Python,熟悉 Scrapy、Requests、Playwright、Selenium 等至少一種爬蟲/自動化框架,有實(shí)際項(xiàng)目經(jīng)驗(yàn)。
3. 深刻理解 HTTP/HTTPS 協(xié)議和瀏覽器工作機(jī)制,熟練使用抓包工具(如 Charles、Fiddler、Wireshark、Chrome DevTools 等)進(jìn)行接口分析與問題排查。
4. 有針對主流網(wǎng)站或 APP 的反爬對抗經(jīng)驗(yàn),熟悉登錄維持、Cookie/Token 管理、代理池、UA 偽裝、JS 逆向、加密參數(shù)還原等技術(shù)手段。
5. 對音視頻播放相關(guān)協(xié)議和格式有一定了解,例如:
* 常見音視頻封裝格式與編碼(MP4、FLV、HLS/m3u8、DASH 等);
* 簡單理解 CDN、分片下載、防盜鏈等機(jī)制者優(yōu)先。
6. 熟悉常見存儲與緩存,如 MySQL、Redis、MongoDB、Elasticsearch 等,了解基本的數(shù)據(jù)清洗、去重和索引優(yōu)化。
加分項(xiàng):
* 有自研或主導(dǎo)搭建過大規(guī)模分布式爬蟲/采集平臺的經(jīng)驗(yàn);
* 有面向音視頻內(nèi)容的搜索、推薦、內(nèi)容理解、版權(quán)分析等相關(guān)項(xiàng)目經(jīng)驗(yàn);
* 熟悉 Linux 環(huán)境,能夠進(jìn)行基礎(chǔ)運(yùn)維與部署,有 Docker/Kubernetes 經(jīng)驗(yàn)者優(yōu)先;
* 在 GitHub、技術(shù)博客、社區(qū)有技術(shù)輸出或開源項(xiàng)目經(jīng)歷。

工作地點(diǎn)

北京海淀區(qū)理想國際大廈5樓

入職公司信息

  • 入職公司: 北京市商湯科技開發(fā)有限公司
  • 公司地址: 北京海淀區(qū)北京市海淀區(qū)北四環(huán)西路58號理想國際大廈F11深圳市商湯科技有限公司
  • 公司人數(shù): 20-99人

認(rèn)證資質(zhì)

  • 勞務(wù)派遣經(jīng)營許可認(rèn)證

    勞務(wù)派遣經(jīng)營許可證是由國家人力資源與社會保障相關(guān)部門頒發(fā),代表人才經(jīng)紀(jì)人所在企業(yè)可以合法開展勞務(wù)派遣相關(guān)業(yè)務(wù)的資質(zhì)證件。展示該標(biāo)簽代表該企業(yè)發(fā)布此職位時已上傳《勞務(wù)派遣許可證》并經(jīng)由平臺審驗(yàn)通過。

職位發(fā)布者

吳惠娟/招聘顧問

當(dāng)前在線
立即溝通
公司Logo外企德科
北京外企德科人力資源服務(wù)上海有限公司(FESCO Adecco):官方網(wǎng)站:http://www.fescoadecco.com/北京外企德科人力資源服務(wù)上海有限公司(外企德科 FESCO Adecco)是值得客戶信賴的人力資源解決方案提供商和全球合作伙伴,是中國人力資源服務(wù)行業(yè)最具競爭力和品牌價值的FESCO(北京外企服務(wù)集團(tuán))與全球人力資源服務(wù)行業(yè)領(lǐng)航者The Adecco Group(德科集團(tuán))于2010年成立的一家中外合資人力資源服務(wù)企業(yè),為企業(yè)及個人提供業(yè)務(wù)外包、人事服務(wù)、招聘獵頭和員工福利等人力資源解決方案。目前,F(xiàn)ESCO Adecco在浙江、陜西、重慶、深圳、蘇州設(shè)立了分支機(jī)構(gòu),全國服務(wù)人數(shù)超過200萬名,服務(wù)客戶超20,000家。
公司主頁