全媒體采集：負(fù)責(zé)海外平臺（如 YouTube, TikTok, Reddit, Spotify 等）的文本、圖片、音、視頻數(shù)據(jù)的抓取與自動化下載。
多模態(tài)數(shù)據(jù)處理：利用主流 AI 模型或工具庫，對抓取的原始數(shù)據(jù)進行格式轉(zhuǎn)換、采樣、抽幀及特征提取。
數(shù)據(jù)清洗與過濾：編寫高效的過濾算法，剔除無效、低質(zhì)或重復(fù)數(shù)據(jù)（如靜音視頻檢測、模糊圖片剔除、文本去噪）。
自動化標(biāo)注支撐：根據(jù)業(yè)務(wù)需求，對數(shù)據(jù)進行預(yù)標(biāo)注或結(jié)構(gòu)化處理（如語音轉(zhuǎn)文字、視頻場景分割、文本情感打分），為后續(xù)模型訓(xùn)練提供高質(zhì)量語料。
存儲與索引：將處理后的結(jié)構(gòu)化數(shù)據(jù)與多媒體文件關(guān)聯(lián)，并存儲至向量數(shù)據(jù)庫或分布式存儲系統(tǒng)。
任職要求
工作經(jīng)驗2-3年，學(xué)歷不限
1. 核心抓取與異步能力
高效采集：精通 Python 異步編程（asyncio, aiohttp），能應(yīng)對海量多媒體文件的并發(fā)下載需求。
模擬與渲染：熟練使用 Playwright 或 Puppeteer 抓取高度動態(tài)化的音視頻流媒體頁面。
2. 多媒體處理技術(shù)（重點）
音視頻工具：熟練使用 FFmpeg（命令行或 Python 綁定），實現(xiàn)視頻抽幀、轉(zhuǎn)碼、音頻提取、時長裁剪等操作。
圖像處理：熟悉 Pillow 或 OpenCV，能進行基礎(chǔ)的圖像去噪、縮放、格式校驗及相似度比對。
數(shù)據(jù)標(biāo)注與過濾：
文本：熟悉正則、LangChain 或簡單的 NLP 工具（如 spaCy, NLTK），能處理多語言編碼、清洗 HTML 標(biāo)簽及特殊字符。
音視頻：了解如何利用現(xiàn)成模型進行 VAD（靜音檢測）、OCR（字幕識別） 或 ASR（語音轉(zhuǎn)文字）。
3. 模型調(diào)用與工程化
模型集成：有調(diào)用 OpenAI API、Hugging Face 開源模型（如 Whisper, CLIP）進行數(shù)據(jù)預(yù)處理或自動標(biāo)記的經(jīng)驗。
數(shù)據(jù)管線：熟悉常用的數(shù)據(jù)流處理邏輯，能設(shè)計簡單的任務(wù)隊列（如 Celery + Redis）來處理耗時的多媒體任務(wù)。
4. 存儲與管理
熟悉 S3 / 阿里云 OSS 等對象存儲的使用。
了解 向量數(shù)據(jù)庫（如 Milvus, Pinecone）的基本概念，或有結(jié)構(gòu)化存儲海量元數(shù)據(jù)的經(jīng)驗。