📊 2025-2026 开源多模态大模型全景梳理

从 VLM 到生图、生视频、3D、数字人、TTS、音乐生成 — 一网打尽

📑 目录

  1. 多模态理解/识别类（VLM）
  2. 统一多模态（理解+生成一体化）
  3. 文生图（Text-to-Image）
  4. 文生视频（Text-to-Video）
  5. 3D 生成（Text-to-3D）
  6. 数字人（Digital Human / Talking Head）
  7. 语音合成 TTS
  8. 音乐生成（Music Generation）
  9. 重点关注模型详解
  10. 趋势总结

一、多模态理解/识别类（VLM — Vision Language Model）

模型 出品方 ⭐ Stars 亮点
Qwen3-VL 阿里通义千问 ⭐19,384 最强国产多模态，支持图像/视频理解
Qwen3-Omni 阿里 — 全模态（文本+图像+语音），统一框架
Gemma 4 Google 🔥新发布 多模态理解+VLA，支持E2B端侧推理
InternVL3.5 上海AI Lab — 开源VLM标杆，细粒度视觉理解
Ovis2.5 AIDC-AI ⭐1,453 新颖MLLM架构，视觉文本对齐设计
GLM-4.6V 智谱AI — 国产多模态，图像理解能力
DeepSeek-VL2 深度求索 ⭐5,299 MoE架构视觉语言模型，高性价比
Llama 4 Scout/17B Meta — 最新一代多模态，支持图像理解
Phi-4 Microsoft — 小参数高效多模态
LLaVA 学术界 经典 经典开源VLM，社区生态完善

二、统一多模态（理解+生成一体化）

🔥 2025-2026 最大趋势：一个模型搞定理解+生成，不再需要分开部署
模型 出品方 ⭐ Stars 亮点
🎯 JoyAI-Image 京东 ⭐2,173 图像理解+文生图+指令编辑三合一
Ovis-U1 AIDC-AI ⭐449 3B参数统一模型，理解+生图+编辑
InternVL-U 上海AI Lab ⭐287 4B统一多模态，理解+生成+编辑
Gemma 4 VLA Google 🔥 视觉语言行动一体，支持语音+视觉+Agent

三、文生图（Text-to-Image）

模型 出品方 亮点
FLUX.1 / FLUX.2 Black Forest Labs 当前开源生图天花板，纯C推理
Stable Diffusion 3.5 Stability AI 社区生态最完善，ComfyUI集成
JoyAI-Image 京东 统一框架内生图
Ovis-U1 AIDC-AI 统一框架内生图

四、文生视频（Text-to-Video）

模型 出品方 ⭐ Stars 亮点
🎯 HunyuanVideo-1.5 腾讯 ⭐4,485 轻量级视频生成标杆，文生视频+图生视频
OpenSora 潞晨科技 ⭐15 开源Sora复现方案
AniSora 社区 ⭐56 动漫风格视频生成

五、3D 生成（Text-to-3D）

模型 ⭐ Stars 亮点
LucidDreamer ⭐1,523 文本驱动3D高斯泼溅场景生成
Open-DiffusionGS ⭐849 单阶段图生3D，ICCV 2025
DiffSplat ⭐521 扩散模型做3D高斯生成，ICLR 2025
HumanGaussian ⭐492 文本驱动3D人体生成，CVPR 2024 Highlight
WorldSplat ⭐2 文本→可导航3D场景，开源替代World Labs

六、数字人（Digital Human / Talking Head）

模型 出品方 亮点
MuseTalk Tencent Music 实时口型同步数字人
MuseV Tencent Music 视频生成数字人
SadTalker 学术界 静态图→说话视频
Wav2Lip 学术界 唇形同步经典方案

七、语音合成 TTS（Text-to-Speech）

模型 出品方 ⭐ Stars 亮点
CosyVoice 阿里通义 ⭐21,665 开源TTS王者，多语言+零样本声音克隆
Kokoro-82M 社区 ⭐5,014 超轻量82M参数，端侧可跑
F5-TTS 社区 — 零样本语音克隆
GPT-SoVITS 社区 🔥热门 少样本语音克隆，中文优秀
Bark Suno 经典 情感语音生成
OpenVoice 学术界 — 声音克隆+情感控制

八、音乐生成（Music Generation）

模型 出品方 ⭐ Stars 亮点
🎯 YuE 多模态艺术项目 ⭐6,281 开源Suno替代，歌词→完整歌曲
HeartMuLa-3B HeartMuLa ⭐3,694 2026最强开源音乐生成，多语言
MusicGen Meta 经典 文本→音乐，社区成熟
Stable Audio Stability AI — 高质量音频生成

九、重点关注模型详解 🔥

🔥 Gemma 4（Google）

  • Google 最新开源多模态，支持图像/视频理解
  • 有 E2B（端侧）版本，可在手机上本地运行
  • VLA 版本支持视觉+语言+行动 Agent
  • 社区已出调优工具（gemma-tuner-multimodal ⭐1,465）

🔥 JoyAI-Image（京东）

  • 京东开源，⭐2,173
  • 统一框架：图像理解 + 文生图 + 指令编辑三合一
  • 与 Ovis-U1、InternVL-U 同属"统一多模态"新范式

🔥 HunyuanVideo-1.5（腾讯）

  • 腾讯开源，⭐4,485
  • 轻量级视频生成，支持文生视频和图生视频
  • 社区有 ComfyUI 工作流、LoRA 训练脚本

十、趋势总结 💡

1️⃣ 统一多模态

JoyAI、Ovis-U1、InternVL-U 都在做"一个模型搞定理解+生成"

2️⃣ 端侧推理爆发

Gemma 4 E2B、Kokoro-82M 都在推本地运行

3️⃣ 视频生成追赶商业

HunyuanVideo 到 OpenSora，开源正在追赶商业水平

4️⃣ 音乐生成实用化

YuE 和 HeartMuLa 让开源音乐生成达到实用级别

🚀 开源多模态正在爆发，2025-2026 是百花齐放的一年

从理解到生成，从文本到音视频，每个赛道都有重量级选手 🦐