2017
Transformer 架构问世
"Attention is All You Need" 论文发布，彻底改变了 NLP 领域的发展方向。Self-attention 机制成为现代 AI 的基础。
2018-2019
BERT 和 GPT 时代
预训练语言模型的爆炸式发展。BERT、GPT-2 等模型展示了大规模预训练的强大能力。
2022-2023
LLM 规模爆炸与对齐
GPT-3、ChatGPT、Claude 等大规模模型问世。RLHF 成为关键的对齐技术，使模型能够更好地遵循人类指令。
2023-2024
提示工程、RAG 与 Agent
Prompt engineering、检索增强生成（RAG）和 AI Agent 框架迅速发展，拓展了 LLM 的应用场景和能力边界。
2024-
AI Agent 与智能系统
端到端的 AI Agent 系统成为焦点，集成了推理、规划、工具使用和反馈循环的完整能力。
核心技术路线图
基础
Transformer
Self-Attention 机制、多头注意力、位置编码等核心概念。深入理解 Transformer 的数学原理和实现细节。
核心
大语言模型
从 GPT 系列到 Claude、Llama 等。预训练、微调、扩展定律等关键概念。理解 LLM 的能力来源。
安全
对齐与RLHF
强化学习从人类反馈（RLHF）、DPO、PPO 等对齐方法。让 AI 系统能够安全地遵循人类意图。
应用
提示工程
Few-shot learning、Chain-of-Thought、Prompt Injection 防护等。掌握与 LLM 有效交互的技巧。
扩展
RAG与工具
检索增强生成、向量数据库、工具调用。扩展 LLM 的知识和能力边界。
前沿
AI Agent
自主推理、规划与执行、多轮交互。构建能够独立完成复杂任务的智能系统。