核心職責：
海外全媒體數(shù)據(jù)采集：負責 YouTube、TikTok、Reddit、Spotify 等海外平臺文本、圖片、音視頻數(shù)據(jù)的自動化抓取與下載，保障海量數(shù)據(jù)高效采集；
多模態(tài)數(shù)據(jù)處理：運用主流 AI 模型 / 工具庫完成原始數(shù)據(jù)格式轉換、采樣、抽幀及特征提??；
數(shù)據(jù)清洗與過濾：開發(fā)高效算法剔除無效、低質、重復數(shù)據(jù)（如靜音視頻檢測、模糊圖片剔除、文本去噪）；
自動化標注支撐：按業(yè)務需求完成數(shù)據(jù)預標注 / 結構化處理（語音轉文字、視頻場景分割、文本情感打分），輸出高質量訓練語料；
數(shù)據(jù)存儲與索引：關聯(lián)結構化數(shù)據(jù)與多媒體文件，落地至向量數(shù)據(jù)庫 / 分布式存儲系統(tǒng)。
任職要求：
核心技術能力：精通 Python 異步編程（asyncio/aiohttp），可支撐海量多媒體文件并發(fā)下載；熟練使用 Playwright/Puppeteer 抓取高動態(tài)音視頻流媒體頁面；
多媒體處理（重點）：
熟練運用 FFmpeg（命令行 / Python 綁定）實現(xiàn)視頻抽幀、轉碼、音頻提取、時長裁剪；
熟悉 Pillow/OpenCV，能完成圖像去噪、縮放、格式校驗、相似度比對；
掌握正則 / LangChain/spaCy/NLTK 等工具處理多語言文本（去 HTML 標簽、特殊字符清洗），了解 VAD（靜音檢測）、OCR（字幕識別）、ASR（語音轉文字）相關模型應用；
模型與工程化：有調用 OpenAI API、Hugging Face 開源模型（Whisper/CLIP）進行數(shù)據(jù)預處理 / 自動標記經(jīng)驗；熟悉數(shù)據(jù)流處理邏輯，可設計 Celery+Redis 任務隊列處理耗時多媒體任務；
存儲管理：熟悉 S3 / 阿里云 OSS 等對象存儲使用，了解 Milvus/Pinecone 等向量數(shù)據(jù)庫基本概念，或有海量元數(shù)據(jù)結構化存儲經(jīng)驗。