🧩 Ascent Creator 模型全景图
按工坊分类列出所有模型的开源/闭源选项、GPU需求、用途说明和测试状态
📖 图例
🟢 开源免费｜🟡 开源但有限制｜🔴 闭源付费｜⚡ 需 GPU
💡 用途说明 + ✅ / ⏳ / ❌ 测试状态
💬 一、大语言模型（LLM）— 通用对话/代码/写作
用途：AI对话、文章写作、代码生成、内容理解、信息总结
| 模型 | 类型 | GPU | 显存 | 测试 | 说明 |
|---|---|---|---|---|---|
| Qwen3-Coder-30B-A3B | 🟢开源 | ⚡ | ~18GB | ✅已测 | 当前默认模型。代码生成能力最强，262K超长上下文，MoE架构仅激活3B参数，速度极快 |
| Qwen3-32B-Int4 | 🟢开源 | ⚡ | ~18GB | ✅已测 | 当前备选模型。通用对话能力更强，128K上下文，Int4量化可在4090运行 |
| DeepSeek-R1 | 🟢开源 | ⚡ | ~80GB+ | ⏳待测 | 最强推理模型，Chain-of-Thought 深度思考。但671B需多卡A100，建议用云端API |
| Qwen3-8B-Int8 | 🟢开源 | ⚡ | ~4.5GB | ✅已测 | 轻量通用模型，适合日常对话。低配选择 |
| GLM-4 (智谱) | 🟢开源 | ⚡ | ~5GB | ⬜待定 | 智谱出品，中文理解出色，Agent调用能力突出 |
| ChatGPT / GPT-4o | 🔴闭源 | ☁云API | — | ⏳待接入 | 闭源标杆。需付费API，不需要本地GPU |
| DeepSeek (云端) | 🔴闭源API | ☁云API | — | ⏳待接入 | R1/V3官方API，性价比极高。不需要本地GPU |
🎨 二、图片生成/文生图大模型
用途：根据文字描述生成图片、风格迁移、图片编辑
| 模型 | 类型 | GPU | 显存 | 测试 | 说明 |
|---|---|---|---|---|---|
| Stable Diffusion XL | 🟢开源 | ⚡ | ~8GB | ⏳待启动 | 端口已配 7860。经典文生图模型，1024²高质量，支持ControlNet/LoRA。SDWebUI部署 |
| FLUX.1 | 🟡开源 | ⚡ | ~12GB | ⏳待启动 | 端口已配 8188。真实感爆棚，文字渲染能力远超SDXL。ComfyUI部署 |
| SD 3.5 Medium | 🟢开源 | ⚡ | ~6.5GB | ⬜待定 | MMDiT架构，质量媲美SDXL但显存更低 |
| Midjourney | 🔴闭源 | ☁云 | — | ⬜待定 | 闭源标杆，艺术感最强。Discord订阅，不需要本地GPU |
| DALL·E 3 | 🔴闭源 | ☁云 | — | ⬜待定 | OpenAI出品，通过GPT-4调用。不需要本地GPU |
🎬 三、视频生成大模型（文生视频 + 图生视频）
用途：文字描述生成视频、图片转视频、视频风格化
| 模型 | 类型 | GPU | 显存 | 测试 | 说明 |
|---|---|---|---|---|---|
| 腾讯混元 hy-video | 🔴闭源 | ☁云API | — | ✅已测 | 当前视频工坊使用中。TokenHub云端API，5秒视频。有超时/失败问题 |
| CogVideoX (智谱) | 🟢开源 | ⚡ | ~18GB | ⏳待部署 | 开源视频模型代表，6秒720p。4090可跑（极限），输出质量中等 |
| Wan2.1 (阿里) | 🟢开源 | ⚡ | 3~27GB | ⏳待部署 | 1.3B轻量版(3GB)可4090跑 / 14B标准版(27GB)需A100。支持文生视频和图生视频 |
| Sora (OpenAI) | 🔴闭源 | ☁云 | — | ⬜待定 | 标杆级，60秒高清视频。暂未开放API |
| Pika / Runway | 🔴闭源 | ☁云 | — | ⬜待定 | 海外热门视频生成工具，需付费订阅 |
🎵 四、音乐制作 & 音效制作大模型
用途：AI作曲、背景音乐生成、音效合成、配乐
| 模型 | 类型 | GPU | 显存 | 测试 | 说明 |
|---|---|---|---|---|---|
| Suno V4 | 🔴闭源 | ☁云 | — | ❌未配置 | 当前音乐工坊配置。但 cookie 为空，无法使用。需充值 Suno 账号并配置 cookie |
| MusicGen (Meta) | 🟢开源 | ⚡ | ~3~4GB | ⏳待部署 | Meta开源音乐生成。Medium版3~4GB显存，4090可跑。支持文本到音乐、旋律引导 |
| AudioCraft (Meta) | 🟢开源 | ⚡ | ~3GB | ⬜待定 | MusicGen的母项目，含音乐+音效+音频压缩全套 |
| UDIO | 🔴闭源 | ☁云 | — | ⬜待定 | 音效/配乐制作，质量高。需付费API |
| Stable Audio (Stability) | 🟡开源 | ⚡ | ~4GB | ⬜待定 | 专业品质音效/背景音乐生成。开源版需申请 |
👤 五、数字人制作大模型
用途：虚拟数字人生成、面部动画、口型同步、动作驱动
| 模型 | 类型 | GPU | 显存 | 测试 | 说明 |
|---|---|---|---|---|---|
| VRM 3D数字人 | 🟢开源 | ❌CPU | — | ⏳待完善 | 3D模型渲染+口型同步。Three.js渲染，3D模型需下载。不需要GPU，浏览器渲染 |
| Live2D | 🟢开源 | ❌CPU | — | ⏳待完善 | 2D立绘+表情+口型。Cubism SDK渲染，不需要GPU |
| HeyGen | 🔴闭源 | ☁云 | — | ⬜待定 | 照片/视频转数字人，口型+表情驱动。需付费 |
| MuseTalk | 🟢开源 | ⚡ | ~4~6GB | ⬜待定 | 实时口型同步，根据音频驱动面部。开源，4090可跑 |
🗣️ 附：语音相关模型
用途：语音识别(ASR)、语音合成(TTS)、声音克隆
| 模型 | 类型 | GPU | 显存 | 测试 | 说明 |
|---|---|---|---|---|---|
| SenseVoiceSmall | 🟢开源 | ⚡ | ~0.3GB | ⏳待部署 | 语音识别(ASR)。中文最强，还支持情感识别。极轻量 |
| CosyVoice 2.0 | 🟢开源 | ⚡ | ~4~6GB | ⏳待部署 | 语音合成(TTS)。阿里出品，中文自然度极高，支持零样本声音克隆 |
| F5-TTS | 🟢开源 | ⚡ | ~1GB | ⏳待部署 | 语音合成(TTS)。极轻量，支持中英混合和零样本声音克隆 |
| CosyVoice | 🟢开源 | ⚡ | ~4GB | ⏳待部署 | CosyVoice 1.0版本，已在语音工坊配置中 |
⚡ GPU 需求速查总表
| 类别 | 模型 | 需GPU | 4090可跑 | 云端替代 |
|---|---|---|---|---|
| LLM | Qwen3-Coder-30B | ⚡必选 | ✅ | DeepSeek API |
| 图片 | SDXL / FLUX | ⚡必选 | ✅ | Midjourney |
| 视频 | CogVideoX / Wan2.1 | ⚡必选 | ⚡极限 | ✅混元可用 |
| 音乐 | MusicGen | ⚡可选 | ✅ | ✅Suno云端 |
| 音效 | Stable Audio | ⚡可选 | ✅ | UDIO |
| 数字人 | VRM / Live2D | ❌不需要 | CPU渲染 | HeyGen |
| 语音ASR | SenseVoiceSmall | 🟡可选(CPU也可) | ✅ | 讯飞/阿里 |
| 语音TTS | F5-TTS / CosyVoice | ⚡推荐 | ✅ | 火山引擎 |
🧪 测试计划总结
✅ 已测试完成
Qwen3-Coder-30B、Qwen3-32B、Qwen3-8B、腾讯混元视频（已接入）
已覆盖：LLM推理性能、视频生成
⏳ 需要启动运行的测试
1. SDXL 真实推理测试（端口7860已配，启动 sd-webui）
2. FLUX 真实推理测试（端口8188已配，启动 ComfyUI）
3. CosyVoice/F5-TTS 语音合成测试
4. MusicGen 音乐生成测试
5. BGE-M3 嵌入+重排序测试
6. SenseVoiceSmall 语音识别测试
⬜ 待规划接入
Wan2.1 视频、DeepSeek-R1、GLM-4、MuseTalk 数字人口型同步
闭源API接入：ChatGPT、DeepSeek云API、Midjourney
登录后才能评论哦 ~ 立即登录