AI 基础设施知识体系概览
问题
AI 基础设施涉及哪些核心技术？从硬件到部署需要了解什么？
答案
AI 基础设施是支撑 AI 模型训练和推理的底层技术栈，包括计算硬件、模型部署、推理优化、量化压缩和服务化方案。
知识导航
| 主题 | 文档 | 说明 |
|---|---|---|
| 计算硬件 | GPU / TPU 与计算硬件 | GPU 架构、显存、选型 |
| 模型部署 | 模型部署与服务化 | vLLM、TGI、Triton、API 网关 |
| 推理优化 | 推理优化技术 | KV Cache、Continuous Batching、Speculative Decoding |
| 模型量化 | 模型量化与压缩 | INT8/INT4、GPTQ、AWQ、GGUF |
| 训练基础设施 | 分布式训练 | 数据并行、模型并行、DeepSpeed |
| 边缘推理 | 边缘与端侧 AI | 移动端推理、WebLLM、ONNX |