QQ频道MCP数据采集工具
一个高效的QQ频道数据采集工具，支持图片、动图、视频等多种媒体类型的自动下载。
🚀 主要功能
- 高效视频抓取: 直接解析JSON-LD，无需浏览器
- 完整媒体支持: 图片、GIF动图、视频全支持
- 智能回退机制: 高效抓取失败时自动回退到Chrome方案
- 增量更新: 避免重复下载，提高效率
📁 项目结构
QQChannelMCP/
├── src/ # 源代码目录
│ ├── collector/ # 数据采集器
│ ├── core/ # 核心组件
│ ├── models/ # 数据模型
│ └── utils/ # 工具函数
├── server/ # MCP服务器
├── data/ # 数据存储目录
├── run_mcp_server.py # 启动脚本
└── requirements.txt # 依赖包
🛠️ 快速开始
-
安装依赖
pip install -r requirements.txt -
启动MCP服务器
python run_mcp_server.py -
使用MCP工具
test_connection: 测试频道连接collect_daily_hellokitty: 收集今日HelloKitty内容get_storage_info: 获取存储信息
📊 支持功能
- ✅ 高效视频检测和下载
- ✅ 图片和GIF动图下载
- ✅ 完整帖子信息采集
- ✅ 增量更新机制
- ✅ 异步并发下载
- ✅ 标准化文件命名
🔧 技术特点
- FastVideoScraper: 无需浏览器的快速抓取器
- EnhancedQQChannelScraper: 增强版Chrome抓取器
- MultimediaHelloKittyDownloader: 多媒体下载器
- 异步并发: 提高下载效率
- 智能媒体类型检测: 自动识别文件类型