知识地图

33 个知识点 · 7 个模块 · 依赖关系来自每个知识点的 frontmatter（prerequisites）。图幅较宽，可左右滚动。

入门核心进阶前沿箭头 = 先修依赖（prerequisites），点击节点进入知识点

按模块浏览

01-语言模型基础 · 语言模型基础

概率建模、词元化与向量表示的概念地基

kp-001大语言模型是什么：定义、能力版图与边界 kp-002语言建模的概率本质：从 n-gram 到神经语言模型 kp-003词元化与词表：BPE 及其变体 kp-004词向量与表示学习：Embedding 的几何直觉

02-预训练 · 预训练

训练目标、数据工程、Scaling Laws 与训练系统工程

kp-005预训练目标：下一词预测、掩码语言模型与排列语言模型 kp-006预训练数据工程：收集、清洗、去重与配比 kp-007Scaling Laws：参数、数据与算力的最优配比 kp-008训练系统工程：分布式并行与混合精度 kp-009训练动力学：调度、损失尖峰与稳定性

03-架构与关键技术 · 架构与关键技术

自注意力、位置编码、归一化演进、长上下文与 MoE

kp-010Transformer 总览与仅解码器架构 kp-011自注意力机制：QKV、缩放与多头 kp-012位置编码：从绝对位置到 RoPE 与 ALiBi kp-013架构细节演进：Pre-Norm、RMSNorm 与 SwiGLU kp-014高效注意力与长上下文：KV 缓存、GQA/MQA 与 FlashAttention kp-015混合专家 MoE：稀疏激活的规模之路

04-后训练与对齐 · 后训练与对齐

从基座到助手：SFT、RLHF 与 DPO 三条路线总览

kp-016从预训练到对齐：后训练三阶段总览 kp-017指令微调 SFT：让模型学会对话与遵循指令 kp-018RLHF 与奖励建模 kp-019DPO 及其变体：免去强化学习的偏好对齐

05-能力评估与局限 · 能力评估与局限

基准测试、涌现争议、幻觉、窗口边界与推理能力

kp-020评估体系：基准测试、排行榜与数据污染 kp-021上下文学习与涌现能力 kp-022幻觉：成因机制与缓解路径 kp-023上下文窗口的局限：记忆边界与"迷失中间 kp-024推理能力与思维链：从 CoT 到测试时计算

06-应用与生态 · 应用与生态

解码策略、API、工具调用、结构化输出与 RAG 概览

kp-025解码策略：temperature、top-p 与采样 kp-026API 生态与提示工程概览 kp-027工具调用与函数调用概览 kp-028结构化输出与 JSON 模式概览 kp-029检索增强生成 RAG 概览

07-治理安全与历史 · 治理安全与历史

安全对齐、开源许可、发展简史与争议辨析

kp-030模型安全：越狱、红队与安全对齐 kp-031开源权重生态与模型许可 kp-032大语言模型简史：从统计模型到 GPT 时代 kp-033常见误区与争议：涌现之争与理性看待大模型