把 RLHF、注意力、LoRA 和评测做成可以拧参数的交互笔记
来源:concepts.laxmena.com — 2026-11-03
📋 概述
Concepts 是一个「每页一个概念」的交互式讲解站,定位是「靠改输入来理解的工程概念」,整站没有长文,每页都是一个可以拖动的模型。评测部分从「eval 的地图」开始,依次是误差棒(82% 到底比 80% 好多少)、exact match 与 F1、precision/recall 与 MRR、nDCG@k、pass@k、LLM as judge、成对偏好与 Elo、人工一致性 kappa、RAG 评测、Agent 评测、线上 A/B,最后是污染与 Goodhart。机器学习部分覆盖注意力、强化学习、RLHF、LoRA;检索排序部分讲 BM25 与倒排索引、双塔与交叉编码器。
🔑 核心要点
- 组织形式是概念地图而非教程:评测 12 个节点按依赖顺序排。
- 最有价值的是误差棒那一页,直接把「82% 比 80% 好」这种结论拆开检验。
- 覆盖了从离线指标(nDCG、pass@k)到线上实验(A/B)的完整链路。
- 最后一页专门讲污染与 Goodhart,说明作者清楚指标被优化的风险。
💡 金句
Engineering ideas you understand by changing the inputs.
👍 0
👎 0
← 返回 Hacker News 首页