🤖 AI 全链路技术图谱
从算力到模型到应用的完整技术栈解析

AI 技术链条可以分为三大层:算力层(基础设施)模型层(核心引擎)应用层(用户触点)。 本文逐层拆解,梳理各环节的关键技术、代表产品、国内外格局。

🔌 第一章:算力层 — AI 的物理基础

1.1 核心芯片类型

芯片类型 全称 特点 AI 角色 代表产品
CPU 中央处理器 通用计算,串行任务,低延迟 数据预处理、调度、控制面 Intel Xeon / AMD EPYC / 鲲鹏
GPU 图形处理器 并行矩阵计算,AI 训练主力 模型训练 + 推理加速 NVIDIA H100/B200 / AMD MI300X
NPU 神经网络处理器 专为神经网络设计,高能效比 端侧推理,边缘计算 华为昇腾 910B / 寒武纪
TPU 张量处理器 Google 自研,矩阵运算特化 训练 + 推理(Google 生态) Google TPU v5p
FPGA 现场可编程门阵列 可重构,低延迟,灵活 特定场景推理加速 Xilinx / Intel Altera

1.2 国内外半导体产业格局

🇺🇸 国际阵营

NVIDIA(英伟达)
AI 芯片绝对霸主,市占率 >80%
H100 → H200 → B200(Blackwell)
CUDA 生态壁垒极高
NVLink + InfiniBand 互联技术
AMD
MI300X 直接对标 H100
ROCm 开源软件栈
性价比优势明显
Intel
Gaudi 3 AI 加速器
CPU+GPU 融合战略
传统服务器 CPU 霸主
Google / AWS / Microsoft
TPU(Google 自研)
Trainium(AWS 自研)
Maia(Microsoft 自研)
云厂商自研芯片趋势

🇨🇳 国产阵营

厂商 芯片 对标 现状
华为昇腾 910BA100 级别国产最强,CANN 生态
海光信息深算 DCUMI系列对标兼容 ROCm
寒武纪思元 590训练+推理自研指令集
燧原科技云燧 T20训练芯片GCU 架构
壁仞科技BR100计算GPU通用GPU
⚠️ 关键差距:
硬件差距在缩小(华为昇腾 910B 约等于 A100),但软件生态互联技术差距仍然很大。NVIDIA 的 CUDA + NVLink + InfiniBand 形成了难以逾越的生态壁垒。

1.3 AI 训练服务器 vs 推理服务器

维度 🦾 训练服务器 ⚡ 推理服务器
GPU 数量8~1024 卡集群1~8 卡
显存需求80GB+ / 卡(H100)24~80GB / 卡
互联NVLink + InfiniBand(400Gb/s)PCIe 即可
CPU双路 Xeon/EPYC,32核+单路即可
内存512GB ~ 2TB64~256GB
存储NVMe SSD + 分布式存储(PB级)SSD 即可
功耗单节点 3~10kW,集群 N*10kW单节点 1~3kW
网络100G/400G 高速互联25G/50G
成本百万~千万级十万~百万级
典型配置DGX H100(8×H100)
华为 Atlas 900
单卡 H100/4090
T4/L4 推理卡
💡 一张图看懂训练 vs 推理:
训练 = 让模型学习(给模型看 10 万张猫的照片,让它学会"什么是猫")→ 需要大量算力、大数据
推理 = 让模型应用(给它一张新照片,问"这是猫吗?")→ 需要低延迟、高并发

1.4 GPU 集群互联架构

┌─────────────────────────────────────────────────────────┐
│                   GPU 集群互联架构                       │
├─────────────────────────────────────────────────────────┤
│                                                         │
│   [GPU0]──NVLink──[GPU1]──NVLink──[GPU2]──NVLink──[GPU3]│
│     │       │       │       │       │       │       │   │
│   NVSwitch  NVSwitch  NVSwitch  NVSwitch  NVSwitch     │
│     │       │       │       │       │       │       │   │
│   [GPU4]──NVLink──[GPU5]──NVLink──[GPU6]──NVLink──[GPU7]│
│                                                         │
│   ┌────────────── InfiniBand / RoCE 网络 ──────────┐   │
│   │  8卡节点1 ──── 8卡节点2 ──── 8卡节点3 ──── ...  │   │
│   └────────────────────────────────────────────────┘   │
│                                                         │
│   互联技术:                                              │
│   • NVLink 4.0:900GB/s(单卡间,NVIDIA)               │
│   • InfiniBand NDR 400:400Gb/s(节点间,Mellanox)    │
│   • ROCE v2:100/200GbE(以太网方案,成本低)           │
└─────────────────────────────────────────────────────────┘

🧠 第二章:模型层 — AI 的核心引擎

2.1 模型分类全景

AI 模型
├── 大语言模型(LLM)          ← 文本生成、对话、推理
│   ├── 通用:GPT-4o / Claude / Gemini / DeepSeek
│   ├── 开源:LLaMA-3 / Qwen2.5 / Mistral / Yi
│   └── 代码专精:DeepSeek-Coder / CodeGemma
│
├── 多模态模型(Multimodal)     ← 图文理解 + 生成
│   ├── 视觉语言:GPT-4V / Gemini Vision / Qwen-VL
│   ├── 图像生成:DALL·E 3 / Midjourney / Stable Diffusion
│   ├── 视频生成:Sora / Runway Gen-3 / 可灵(快手)
│   ├── 语音:Whisper / CosyVoice / Fish Speech
│   └── 音乐:Suno / Udio
│
├── 专用模型                   ← 垂直领域
│   ├── 科学:AlphaFold(蛋白质)
│   ├── 数学:QWQ / GPT-4 Code Interpreter
│   └── 法律/医疗:各垂直微调模型

2.2 主流通用大模型能力对比

模型 厂商 开源 多模态 上下文 特点
GPT-4oOpenAI128K综合最强,多模态标杆
Claude 4Anthropic200K长文本、代码强
Gemini 2.0Google1M+超长上下文,多模态
DeepSeek-V4深度求索128K推理强,性价比高
Qwen3.6阿里云128K中文最强,生态完善
LLaMA-3.1Meta128K开源社区首选
Mistral LargeMistral AI128K欧洲最强,效率高
GLM-5智谱 AI128K国产综合,AutoGLM
Yi-Lightning零一万物200K速度极快
Kimi K2.5月之暗面200K长文本开创者

2.3 大模型核心技术栈

🔄 模型微调(Fine-tuning)

技术 原理 显存需求 适用场景
全参微调更新所有参数极高有充足算力、领域大调整
LoRA注入低秩矩阵,只训练小参数量低(可降 90%)⭐ 最常用,适配特定任务
QLoRALoRA + 4bit 量化极低(可跑 13B 在 24GB 卡)消费级显卡微调大模型
Adapter插入小适配层任务切换场景
🔧 常用工具: LLaMA-Factory(最主流)、HuggingFace PEFT、Axolotl

📚 知识库 / RAG(检索增强生成)

核心思想:不微调模型,而是让模型在回答时实时检索外部知识

用户提问
    ↓
  检索知识库(向量数据库)  ← 文档 → 切块 → Embedding → 存入向量库
    ↓
  找到最相关的 N 个片段
    ↓
  将片段 + 原始问题 拼成 Prompt
    ↓
  大模型回答(参考了检索到的知识)
组件代表产品说明
Embedding 模型text-embedding-3, BGE, M3E将文本转为向量
向量数据库Milvus, Pinecone, Qdrant, Chroma存储和检索向量
框架LangChain, LlamaIndex, Dify编排整个流程
文档解析Unstructured, Docling, MarkerPDF/Word 解析

💧 模型蒸馏(Knowledge Distillation)

核心思想:用大模型(教师)训练小模型(学生),让小模型学到大模型的"知识"和"行为模式"。
蒸馏方式 说明 例子
白盒蒸馏用小模型模仿大模型的输出概率分布DistilBERT
黑盒蒸馏用大模型生成数据,用小模型训练DeepSeek-R1 蒸馏出 1.5B~70B 系列
自蒸馏模型自己蒸馏自己提升效率

🔗 各技术的关系

基础大模型(Base Model)
    │
    ├── 微调(Fine-tuning)       → 让模型学会特定格式/风格
    │     • 全参微调(Full):模型大变身
    │     • LoRA/QLoRA:轻量级适配(推荐!)
    │
    ├── RAG 知识库                   → 让模型"查资料"
    │     • 不用改模型参数
    │     • 适合:企业知识问答、客服系统
    │
    ├── 蒸馏(Distillation)        → 大模型变小模型
    │     • 降低推理成本
    │     • 适合:端侧部署、低成本场景
    │
    └── Prompt Engineering         → 不花钱的"优化"
          • 零样本、少样本、CoT(思维链)
          • 适合:快速实验、效果验证

💡 我该用哪个?
• 想让模型听你的话 → 微调
• 想让模型知道你的数据 → RAG
• 想让模型跑得更快更便宜 → 蒸馏
• 还没想清楚先试试 → Prompt 工程

🚀 第三章:应用层 — AI 落地的触点

3.1 AI 应用分类矩阵

类别 代表产品 核心技术 说明
💬 AI 对话助手ChatGPT / Claude / 豆包 / DeepSeek ChatLLM + RLHF通用问答、写作、翻译
👨‍💻 AI 编程GitHub Copilot / Cursor / Windsurf / CodeiumLLM + 代码上下文代码补全、生成、调试
🔍 AI 搜索Perplexity / 秘塔AI搜索 / GeminiLLM + RAG + 联网搜索 + 总结,替代传统搜索
🎨 AI 图像Midjourney / Stable Diffusion / DALL·E / 通义万相扩散模型文生图、图生图、修图
🎬 AI 视频Sora / Runway / Pika / 可灵(快手)扩散模型 + Transformer文生视频、图生视频
🎵 AI 音乐Suno / Udio / 天工SkyMusic音频生成模型文生音乐、歌词生成
🗣️ AI 语音ElevenLabs / CosyVoice / Fish AudioTTS + 语音克隆语音合成、配音、数字人
🤖 AI AgentAutoGPT / Claude Computer Use / ManusLLM + 工具调用自主完成任务(订票、填表等)
🏢 AI 办公Notion AI / 飞书智能伙伴 / WPS AILLM + 文档理解写作辅助、PPT生成、数据分析
🎓 AI 学习Khanmigo / Quizlet Q-ChatLLM + 教育场景个性化辅导、错题分析
🏥 AI 医疗Med-PaLM / 腾讯觅影医学微调模型诊断辅助、影像分析
🏭 企业 AI 平台Dify / 扣子(Coze) / 百度千帆LLM + RAG + Workflow企业级 AI 应用搭建平台

3.2 AI Agent — 下一代应用范式

Agent = LLM + 工具调用 + 记忆 + 规划
Agent 的典型工作流:
┌─────────────┐
│  用户下达任务  │  "帮我订一张下周二去北京的机票"
└──────┬──────┘
       ↓
┌─────────────┐
│  LLM 理解意图 │  → 拆解为子任务
└──────┬──────┘
       ↓
┌─────────────┐
│  调用工具     │  → 搜索航班、查询日历、选择座位
└──────┬──────┘
       ↓
┌─────────────┐
│  整合结果    │  → 生成最终回复
└──────┬──────┘
       ↓
┌─────────────┐
│  反馈给用户  │  "已为您预订:5月8日 10:00 北京,航班 CA1234"
└─────────────┘

代表项目:
• Manus — 通用 AI Agent,自动完成复杂任务
• Claude Computer Use — 直接操作电脑屏幕
• AutoGPT — 自主 Agent 先驱
• OpenAI Operator — 浏览器操作 Agent
• Dify / Coze — 低代码搭建 Agent 工作流

3.3 AI 应用的商业模式

模式 说明 代表
SaaS 订阅按月/年付费使用 AI 能力ChatGPT Plus / Copilot / Midjourney
API 按量付费按 Token/请求数计费OpenAI API / DeepSeek API / Claude API
私有化部署客户自建服务器,一次性付费+维护费金融/医疗/政务等合规场景
嵌入现有产品AI 作为功能模块嵌入已有 SaaSNotion AI / 飞书 / WPS AI
开源 + 商业版开源社区版 + 商业增强版Dify / DeepSeek 模型

🔗 第四章:全链路总结

算力层                              模型层                              应用层
┌──────────┐                    ┌──────────────┐                    ┌──────────────┐
│  GPU/NPU │                    │  基础大模型   │                    │  AI 对话助手  │
│  CPU+DDR │ ─── 训练 ──────→   │  (GPT/LLaMA) │ ─── API/SDK ──→  │  AI 编程工具  │
│  高速互联 │                    │      ↓       │                    │  AI 搜索      │
│  分布式存储│                   │  微调/LoRA   │                    │  AI 图像/视频 │
│  散热供 电│                    │  知识库/RAG  │                    │  AI Agent     │
└──────────┘                    │  模型蒸馏    │                    │  企业 AI 平台 │
                                └──────────────┘                    └──────────────┘

关键技术工具链:
• 训练框架:PyTorch / JAX / DeepSpeed / Megatron
• 推理框架:vLLM / TensorRT-LLM / Ollama
• 模型部署:HuggingFace / ModelScope / Docker
• 应用开发:LangChain / Dify / FastAPI
• 监控运维:Prometheus / Grafana / 日志系统

📌 一句话总结

算力是 AI 的肌肉(GPU 越强,练得越快)
模型是 AI 的大脑(算法越好,越聪明)
应用是 AI 的手脚(场景越准,越有用)

三者缺一不可,但当下最大的瓶颈在算力(尤其是国产替代)和应用的 PMF(产品市场匹配)。