🤖 AI 全链路技术图谱
从算力到模型到应用的完整技术栈解析
AI 技术链条可以分为三大层:算力层(基础设施) → 模型层(核心引擎) → 应用层(用户触点)。 本文逐层拆解,梳理各环节的关键技术、代表产品、国内外格局。
🔌 第一章:算力层 — AI 的物理基础
1.1 核心芯片类型
| 芯片类型 | 全称 | 特点 | AI 角色 | 代表产品 |
|---|---|---|---|---|
| CPU | 中央处理器 | 通用计算,串行任务,低延迟 | 数据预处理、调度、控制面 | Intel Xeon / AMD EPYC / 鲲鹏 |
| GPU | 图形处理器 | 并行矩阵计算,AI 训练主力 | 模型训练 + 推理加速 | NVIDIA H100/B200 / AMD MI300X |
| NPU | 神经网络处理器 | 专为神经网络设计,高能效比 | 端侧推理,边缘计算 | 华为昇腾 910B / 寒武纪 |
| TPU | 张量处理器 | Google 自研,矩阵运算特化 | 训练 + 推理(Google 生态) | Google TPU v5p |
| FPGA | 现场可编程门阵列 | 可重构,低延迟,灵活 | 特定场景推理加速 | Xilinx / Intel Altera |
1.2 国内外半导体产业格局
🇺🇸 国际阵营
NVIDIA(英伟达)
AI 芯片绝对霸主,市占率 >80%
H100 → H200 → B200(Blackwell)
CUDA 生态壁垒极高
NVLink + InfiniBand 互联技术
AI 芯片绝对霸主,市占率 >80%
H100 → H200 → B200(Blackwell)
CUDA 生态壁垒极高
NVLink + InfiniBand 互联技术
AMD
MI300X 直接对标 H100
ROCm 开源软件栈
性价比优势明显
MI300X 直接对标 H100
ROCm 开源软件栈
性价比优势明显
Intel
Gaudi 3 AI 加速器
CPU+GPU 融合战略
传统服务器 CPU 霸主
Gaudi 3 AI 加速器
CPU+GPU 融合战略
传统服务器 CPU 霸主
Google / AWS / Microsoft
TPU(Google 自研)
Trainium(AWS 自研)
Maia(Microsoft 自研)
云厂商自研芯片趋势
TPU(Google 自研)
Trainium(AWS 自研)
Maia(Microsoft 自研)
云厂商自研芯片趋势
🇨🇳 国产阵营
| 厂商 | 芯片 | 对标 | 现状 |
|---|---|---|---|
| 华为 | 昇腾 910B | A100 级别 | 国产最强,CANN 生态 |
| 海光信息 | 深算 DCU | MI系列对标 | 兼容 ROCm |
| 寒武纪 | 思元 590 | 训练+推理 | 自研指令集 |
| 燧原科技 | 云燧 T20 | 训练芯片 | GCU 架构 |
| 壁仞科技 | BR100 | 计算GPU | 通用GPU |
⚠️ 关键差距:
硬件差距在缩小(华为昇腾 910B 约等于 A100),但软件生态和互联技术差距仍然很大。NVIDIA 的 CUDA + NVLink + InfiniBand 形成了难以逾越的生态壁垒。
硬件差距在缩小(华为昇腾 910B 约等于 A100),但软件生态和互联技术差距仍然很大。NVIDIA 的 CUDA + NVLink + InfiniBand 形成了难以逾越的生态壁垒。
1.3 AI 训练服务器 vs 推理服务器
| 维度 | 🦾 训练服务器 | ⚡ 推理服务器 |
|---|---|---|
| GPU 数量 | 8~1024 卡集群 | 1~8 卡 |
| 显存需求 | 80GB+ / 卡(H100) | 24~80GB / 卡 |
| 互联 | NVLink + InfiniBand(400Gb/s) | PCIe 即可 |
| CPU | 双路 Xeon/EPYC,32核+ | 单路即可 |
| 内存 | 512GB ~ 2TB | 64~256GB |
| 存储 | NVMe SSD + 分布式存储(PB级) | SSD 即可 |
| 功耗 | 单节点 3~10kW,集群 N*10kW | 单节点 1~3kW |
| 网络 | 100G/400G 高速互联 | 25G/50G |
| 成本 | 百万~千万级 | 十万~百万级 |
| 典型配置 | DGX H100(8×H100) 华为 Atlas 900 | 单卡 H100/4090 T4/L4 推理卡 |
💡 一张图看懂训练 vs 推理:
训练 = 让模型学习(给模型看 10 万张猫的照片,让它学会"什么是猫")→ 需要大量算力、大数据
推理 = 让模型应用(给它一张新照片,问"这是猫吗?")→ 需要低延迟、高并发
训练 = 让模型学习(给模型看 10 万张猫的照片,让它学会"什么是猫")→ 需要大量算力、大数据
推理 = 让模型应用(给它一张新照片,问"这是猫吗?")→ 需要低延迟、高并发
1.4 GPU 集群互联架构
┌─────────────────────────────────────────────────────────┐ │ GPU 集群互联架构 │ ├─────────────────────────────────────────────────────────┤ │ │ │ [GPU0]──NVLink──[GPU1]──NVLink──[GPU2]──NVLink──[GPU3]│ │ │ │ │ │ │ │ │ │ │ NVSwitch NVSwitch NVSwitch NVSwitch NVSwitch │ │ │ │ │ │ │ │ │ │ │ [GPU4]──NVLink──[GPU5]──NVLink──[GPU6]──NVLink──[GPU7]│ │ │ │ ┌────────────── InfiniBand / RoCE 网络 ──────────┐ │ │ │ 8卡节点1 ──── 8卡节点2 ──── 8卡节点3 ──── ... │ │ │ └────────────────────────────────────────────────┘ │ │ │ │ 互联技术: │ │ • NVLink 4.0:900GB/s(单卡间,NVIDIA) │ │ • InfiniBand NDR 400:400Gb/s(节点间,Mellanox) │ │ • ROCE v2:100/200GbE(以太网方案,成本低) │ └─────────────────────────────────────────────────────────┘
🧠 第二章:模型层 — AI 的核心引擎
2.1 模型分类全景
AI 模型 ├── 大语言模型(LLM) ← 文本生成、对话、推理 │ ├── 通用:GPT-4o / Claude / Gemini / DeepSeek │ ├── 开源:LLaMA-3 / Qwen2.5 / Mistral / Yi │ └── 代码专精:DeepSeek-Coder / CodeGemma │ ├── 多模态模型(Multimodal) ← 图文理解 + 生成 │ ├── 视觉语言:GPT-4V / Gemini Vision / Qwen-VL │ ├── 图像生成:DALL·E 3 / Midjourney / Stable Diffusion │ ├── 视频生成:Sora / Runway Gen-3 / 可灵(快手) │ ├── 语音:Whisper / CosyVoice / Fish Speech │ └── 音乐:Suno / Udio │ ├── 专用模型 ← 垂直领域 │ ├── 科学:AlphaFold(蛋白质) │ ├── 数学:QWQ / GPT-4 Code Interpreter │ └── 法律/医疗:各垂直微调模型
2.2 主流通用大模型能力对比
| 模型 | 厂商 | 开源 | 多模态 | 上下文 | 特点 |
|---|---|---|---|---|---|
| GPT-4o | OpenAI | ❌ | ✅ | 128K | 综合最强,多模态标杆 |
| Claude 4 | Anthropic | ❌ | ✅ | 200K | 长文本、代码强 |
| Gemini 2.0 | ❌ | ✅ | 1M+ | 超长上下文,多模态 | |
| DeepSeek-V4 | 深度求索 | ✅ | ✅ | 128K | 推理强,性价比高 |
| Qwen3.6 | 阿里云 | ✅ | ✅ | 128K | 中文最强,生态完善 |
| LLaMA-3.1 | Meta | ✅ | ✅ | 128K | 开源社区首选 |
| Mistral Large | Mistral AI | ✅ | ✅ | 128K | 欧洲最强,效率高 |
| GLM-5 | 智谱 AI | ✅ | ✅ | 128K | 国产综合,AutoGLM |
| Yi-Lightning | 零一万物 | ✅ | ✅ | 200K | 速度极快 |
| Kimi K2.5 | 月之暗面 | ❌ | ✅ | 200K | 长文本开创者 |
2.3 大模型核心技术栈
🔄 模型微调(Fine-tuning)
| 技术 | 原理 | 显存需求 | 适用场景 |
|---|---|---|---|
| 全参微调 | 更新所有参数 | 极高 | 有充足算力、领域大调整 |
| LoRA | 注入低秩矩阵,只训练小参数量 | 低(可降 90%) | ⭐ 最常用,适配特定任务 |
| QLoRA | LoRA + 4bit 量化 | 极低(可跑 13B 在 24GB 卡) | 消费级显卡微调大模型 |
| Adapter | 插入小适配层 | 低 | 任务切换场景 |
🔧 常用工具: LLaMA-Factory(最主流)、HuggingFace PEFT、Axolotl
📚 知识库 / RAG(检索增强生成)
核心思想:不微调模型,而是让模型在回答时实时检索外部知识。
用户提问
↓
检索知识库(向量数据库) ← 文档 → 切块 → Embedding → 存入向量库
↓
找到最相关的 N 个片段
↓
将片段 + 原始问题 拼成 Prompt
↓
大模型回答(参考了检索到的知识)
| 组件 | 代表产品 | 说明 |
|---|---|---|
| Embedding 模型 | text-embedding-3, BGE, M3E | 将文本转为向量 |
| 向量数据库 | Milvus, Pinecone, Qdrant, Chroma | 存储和检索向量 |
| 框架 | LangChain, LlamaIndex, Dify | 编排整个流程 |
| 文档解析 | Unstructured, Docling, Marker | PDF/Word 解析 |
💧 模型蒸馏(Knowledge Distillation)
核心思想:用大模型(教师)训练小模型(学生),让小模型学到大模型的"知识"和"行为模式"。
| 蒸馏方式 | 说明 | 例子 |
|---|---|---|
| 白盒蒸馏 | 用小模型模仿大模型的输出概率分布 | DistilBERT |
| 黑盒蒸馏 | 用大模型生成数据,用小模型训练 | DeepSeek-R1 蒸馏出 1.5B~70B 系列 |
| 自蒸馏 | 模型自己蒸馏自己 | 提升效率 |
🔗 各技术的关系
基础大模型(Base Model)
│
├── 微调(Fine-tuning) → 让模型学会特定格式/风格
│ • 全参微调(Full):模型大变身
│ • LoRA/QLoRA:轻量级适配(推荐!)
│
├── RAG 知识库 → 让模型"查资料"
│ • 不用改模型参数
│ • 适合:企业知识问答、客服系统
│
├── 蒸馏(Distillation) → 大模型变小模型
│ • 降低推理成本
│ • 适合:端侧部署、低成本场景
│
└── Prompt Engineering → 不花钱的"优化"
• 零样本、少样本、CoT(思维链)
• 适合:快速实验、效果验证
💡 我该用哪个?
• 想让模型听你的话 → 微调
• 想让模型知道你的数据 → RAG
• 想让模型跑得更快更便宜 → 蒸馏
• 还没想清楚先试试 → Prompt 工程
🚀 第三章:应用层 — AI 落地的触点
3.1 AI 应用分类矩阵
| 类别 | 代表产品 | 核心技术 | 说明 |
|---|---|---|---|
| 💬 AI 对话助手 | ChatGPT / Claude / 豆包 / DeepSeek Chat | LLM + RLHF | 通用问答、写作、翻译 |
| 👨💻 AI 编程 | GitHub Copilot / Cursor / Windsurf / Codeium | LLM + 代码上下文 | 代码补全、生成、调试 |
| 🔍 AI 搜索 | Perplexity / 秘塔AI搜索 / Gemini | LLM + RAG + 联网 | 搜索 + 总结,替代传统搜索 |
| 🎨 AI 图像 | Midjourney / Stable Diffusion / DALL·E / 通义万相 | 扩散模型 | 文生图、图生图、修图 |
| 🎬 AI 视频 | Sora / Runway / Pika / 可灵(快手) | 扩散模型 + Transformer | 文生视频、图生视频 |
| 🎵 AI 音乐 | Suno / Udio / 天工SkyMusic | 音频生成模型 | 文生音乐、歌词生成 |
| 🗣️ AI 语音 | ElevenLabs / CosyVoice / Fish Audio | TTS + 语音克隆 | 语音合成、配音、数字人 |
| 🤖 AI Agent | AutoGPT / Claude Computer Use / Manus | LLM + 工具调用 | 自主完成任务(订票、填表等) |
| 🏢 AI 办公 | Notion AI / 飞书智能伙伴 / WPS AI | LLM + 文档理解 | 写作辅助、PPT生成、数据分析 |
| 🎓 AI 学习 | Khanmigo / Quizlet Q-Chat | LLM + 教育场景 | 个性化辅导、错题分析 |
| 🏥 AI 医疗 | Med-PaLM / 腾讯觅影 | 医学微调模型 | 诊断辅助、影像分析 |
| 🏭 企业 AI 平台 | Dify / 扣子(Coze) / 百度千帆 | LLM + RAG + Workflow | 企业级 AI 应用搭建平台 |
3.2 AI Agent — 下一代应用范式
Agent = LLM + 工具调用 + 记忆 + 规划
Agent 的典型工作流:
┌─────────────┐
│ 用户下达任务 │ "帮我订一张下周二去北京的机票"
└──────┬──────┘
↓
┌─────────────┐
│ LLM 理解意图 │ → 拆解为子任务
└──────┬──────┘
↓
┌─────────────┐
│ 调用工具 │ → 搜索航班、查询日历、选择座位
└──────┬──────┘
↓
┌─────────────┐
│ 整合结果 │ → 生成最终回复
└──────┬──────┘
↓
┌─────────────┐
│ 反馈给用户 │ "已为您预订:5月8日 10:00 北京,航班 CA1234"
└─────────────┘
代表项目:
• Manus — 通用 AI Agent,自动完成复杂任务
• Claude Computer Use — 直接操作电脑屏幕
• AutoGPT — 自主 Agent 先驱
• OpenAI Operator — 浏览器操作 Agent
• Dify / Coze — 低代码搭建 Agent 工作流
3.3 AI 应用的商业模式
| 模式 | 说明 | 代表 |
|---|---|---|
| SaaS 订阅 | 按月/年付费使用 AI 能力 | ChatGPT Plus / Copilot / Midjourney |
| API 按量付费 | 按 Token/请求数计费 | OpenAI API / DeepSeek API / Claude API |
| 私有化部署 | 客户自建服务器,一次性付费+维护费 | 金融/医疗/政务等合规场景 |
| 嵌入现有产品 | AI 作为功能模块嵌入已有 SaaS | Notion AI / 飞书 / WPS AI |
| 开源 + 商业版 | 开源社区版 + 商业增强版 | Dify / DeepSeek 模型 |
🔗 第四章:全链路总结
算力层 模型层 应用层
┌──────────┐ ┌──────────────┐ ┌──────────────┐
│ GPU/NPU │ │ 基础大模型 │ │ AI 对话助手 │
│ CPU+DDR │ ─── 训练 ──────→ │ (GPT/LLaMA) │ ─── API/SDK ──→ │ AI 编程工具 │
│ 高速互联 │ │ ↓ │ │ AI 搜索 │
│ 分布式存储│ │ 微调/LoRA │ │ AI 图像/视频 │
│ 散热供 电│ │ 知识库/RAG │ │ AI Agent │
└──────────┘ │ 模型蒸馏 │ │ 企业 AI 平台 │
└──────────────┘ └──────────────┘
关键技术工具链:
• 训练框架:PyTorch / JAX / DeepSpeed / Megatron
• 推理框架:vLLM / TensorRT-LLM / Ollama
• 模型部署:HuggingFace / ModelScope / Docker
• 应用开发:LangChain / Dify / FastAPI
• 监控运维:Prometheus / Grafana / 日志系统
📌 一句话总结
算力是 AI 的肌肉(GPU 越强,练得越快)
模型是 AI 的大脑(算法越好,越聪明)
应用是 AI 的手脚(场景越准,越有用)
三者缺一不可,但当下最大的瓶颈在算力(尤其是国产替代)和应用的 PMF(产品市场匹配)。
登录后才能评论哦 ~ 立即登录