一张地图:线代 ↔ AI 对照总表

总表:一行一个概念,一行一个岗位

用法建议:读论文卡壳时,先在「概念」列找到对应行,回那一章扫一遍「几何直觉」;写代码报 shape 错时,直奔 19 章;调训练时,15、16、21 三行连读。这张表就是全书的哈希索引。也注意表里没有的东西:高斯消元的笔算、伴随矩阵、克拉默法则、若尔当形——第 01 章承诺跳过的应试遗产,我们真的一步没绕路,而你显然也没有因此少懂任何一个 AI 概念。

按场景查表:五个工作现场

概念索引之外,再给一份「症状 → 科室」的分诊表,对应你未来最可能遇到的五种现场:

• 现场一:shape 报错 / 指标诡异但不报错。直奔 19 章:先给每根轴挂牌,检查 (n,) vs (n,1),检查 axis 和 keepdims,关键节点加 assert。九成的「模型玄学」是形状学。
• 现场二:训练不收敛 / 损失震荡 / NaN。15、16、21 章连读:学习率对谱(2/λ)、梯度范数曲线、死 ReLU、fp16 下溢四件套逐一排查;残差和归一化的位置(20 章)也在嫌疑人名单上。
• 现场三:检索/推荐效果差。04、05、18 章:度量选对了吗(点积还是余弦)?量纲统一了吗?维度高到距离失效了吗?embedding 做过各向异性体检吗(23 章)?
• 现场四:回归系数疯了 / 解不稳定。09、11、14、17 章:特征共线 → AᵀA 病态 → 条件数爆表,处方是删冗余、岭回归或 PCA。
• 现场五:模型太大跑不动。12、17、23 章:量化砍字节,LoRA 砍可训参数,低秩分解砍推理算力;三把刀各砍哪本账(参数账还是激活账),19 章的算术说了算。

误解毕业考:十个最常见的坑,一次清点

全书 ⚠ 坑标签的精华浓缩,毕业前最后一遍:① 余弦不总比点积好——长度可能是信号(04);② det 小 ≠ 接近奇异,健康度找条件数(08/17);③ 正交和无关不是同义词,差一个「垂直」(11);④ 秩不是非零元素数,而且它没有连续性(12);⑤ 主动变换与被动变换差一个方向,抄公式先对齐约定(13);⑥ 最小二乘量的是竖直残差,不是垂直距离(14);⑦ 特征向量是方向不是箭,符号可翻(15);⑧ 可对角化 ≠ 数值上该对角化,非对称请走 Schur/SVD(16);⑨ 方差大 ≠ 对任务重要,PCA 是无监督的赌注(18);⑩ 注意力权重 ≠ 因果解释(22)。十条全都答得出「为什么」,你的线代就不只是会算,是会用了。

三条主线,三次复盘

配方线(03 → 06 → 22):坐标是配方,矩阵乘向量是按配方组合列,embedding 查表是「配方里只有一个 1」的取列,注意力输出是当场算出的动态配方,残差流是逐层累加的配方流水账。一路走来只有一个念头:复杂对象 = 简单原料的加权组合——AI 的生成、检索、表示,骨子里全是配方学。

换基线(11 → 13 → 16 → 18):基是度量衡制度,换基是汇率换算,对角化是「换到让矩阵躺平的制度」,PCA 是「换到让数据靠边坐的制度」,深度网络自己就是一台学习换基的机器,可解释性是在给它找一套人类读得懂的制度。心法一句:难的不是问题,是坐标系;先怀疑坐标系,再怀疑世界。

低秩线(07 → 12 → 17 → 23):外积是秩一薄片,秩是真实信息维度,SVD 按重要性把矩阵拆成薄片并有最优截断的定理背书,梯度天生是薄片的叠加,LoRA 用薄补丁改写大模型,Netflix 用几十维品味解释了千万人的观影史。哲学版:大系统的有效行为,几乎总住在低维子空间里——找到那个子空间,就找到了省钱和理解的入口。

重读的三种姿势

这本书设计成可以重读,三种再刷法各有用途。快刷(两小时):只读每章的 lede 和小结,重建全书脉络——适合搁置几个月后的热身。主题刷(半天):沿一条主线把相关章节连读——比如面试前把「低秩线」四章串一遍,或者上手 Transformer 源码前重走 19→22。Demo 刷(一小时):跳过全部正文,把 14 个 Demo 按顺序重玩一遍,每个玩到「能向别人解说」为止——直觉的保鲜,这是最高效的一种。三种姿势的共同前提是第一遍认真走完,而你刚刚做到了。

二十问快速自测

规则:每问限时十秒,只要求说出「人话版」答案;答不上的,括号里是回诊科室——回去只读那一章的小结即可,不必重读全章:① 点积正负零各代表什么?(04)② 为什么 embedding 检索先归一化?(05)③ 矩阵的列是什么的去向?(06)④ AB ≠ BA,但 (AB)C = A(BC),各因为什么?(07)⑤ det = 0 的三个同义词?(08)⑥ 为什么永远 solve 不 inv?(09)⑦ 正交矩阵的两大特权?(10)⑧ 基的两个条件?(11)⑨ 秩 r 矩阵的存储账?(12)⑩ B⁻¹AB 三段各干什么?(13)⑪ 正规方程的几何签名?(14)⑫ Av = λv 里谁是方向谁是倍数?(15)⑬ 谱半径与 1 的关系决定什么?(16)⑭ SVD 三幕各是什么?截断为什么最优?(17)⑮ PCA 前为什么必须中心化、常常要标准化?(18)⑯ (B, L, D) 各是什么?(n,) 和 (n,1) 差在哪?(19)⑰ 没有非线性,百层等于几层?(20)⑱ 反向传播省算力靠哪条定律?(21)⑲ √d 在缩放什么?(22)⑳ LoRA 的 B 为什么初始化为零?(23)

NumPy 速查:二十行走天下

v @ w                                  # 点积(04)
v / (np.linalg.norm(v) + 1e-8)         # 归一化(05)
A @ B                                  # 矩阵乘(07)
np.linalg.det(A)                       # 行列式(08)
np.linalg.solve(A, b)                  # 解方程,别用 inv(09)
np.linalg.matrix_rank(X)               # 秩(12)
np.linalg.lstsq(A, b, rcond=None)      # 最小二乘(14)
np.linalg.eigh(S)                      # 对称特征分解(15)
np.linalg.svd(X, full_matrices=False)  # SVD 经济版(17)
np.linalg.pinv(A)                      # 伪逆(14/17)
X.mean(axis=0), X.mean(axis=-1, keepdims=True)  # 归约与保轴(19)
np.einsum('bld,bmd->blm', Q, K)        # 批量注意力分数(19/22)

诚实的边界:线代管不了什么

好地图要标出「此处无路」。承认工具的边界不是谦虚,是专业素养——知道锤子敲不了螺丝的人,才配说自己会用锤子。三样东西线性代数只能陪跑,不能主宰:非线性的整体行为——Jacobian 只是逐点的线性替身(21 章),损失面的全局形状、模型「为什么泛化」这类问题,线代给语言但给不了答案;不确定性——协方差矩阵能描述分布的形状(18 章),但「该信这个预测几分」是概率统计的地盘;离散结构——token 的选择、树与图的搜索、组合优化,向量空间的连续直觉常常失灵(softmax 就是把离散选择「连续化」的桥,桥的两端风景不同);还有第四样隐藏款——「数据从哪来、标注是否公平、部署了伤害谁」,任何数学都管不了,但工程师躲不开。一个成熟的判断是:线性代数是 AI 的骨架语言,但骨架之外还有血肉——这也正是你下一步要补微积分与概率的理由。

如果只能带走十句话

① 向量是箭头也是数列,意义住在相对位置里。② 坐标是配方,矩阵的列是基向量的去向。③ 矩阵乘法是变换的接力,从右往左执行,括号位置就是算力账单。④ 点积量相似,范数量大小,你选的度量就是你立的价值观。⑤ 秩是信息的真实维度,大系统的有效行为住在低维子空间里。⑥ 换基不改事实,只改报表;难的常常不是问题,是坐标系。⑦ 特征方向是变换的骨骼,谱半径是反复施加的命运。⑧ 任何矩阵都是转·缩·转,按重要性截断有定理背书。⑨ 无解就投影,解太多挑范数最小——把不可解松弛成最优化,是应用数学的万能钥匙。⑩ 深度学习 = 矩阵乘 + 非线性 + 梯度下降,三个词你现在每个都懂到了骨头。

从这里出发:三条路

出发前校准一下心态:此刻的你,大概处在「读得懂论文的方法节、看得懂模型源码的骨架、聊架构不露怯」的位置——这已经超过多数「学过线代」的人,但离「能推导新方法」还有路。这很正常,也很够用:工程师的数学是杠杆,不是奖杯,支点稳了,剩下的力气花在撬东西上。

补数学的路。AI 的数学三大件,你已经拿下最重的一件。剩下两件都有明确的「够用范围」:微积分只需要「多元微分 + 链式法则」这一角(第 21 章已经带你摸过骨架,系统补课时找「matrix calculus」关键词,别陷进积分技巧的海洋);概率统计要的是随机变量、期望方差、贝叶斯、最大似然(第 14 章「平方损失 = 高斯假设」就是入口),交叉熵和 KL 散度是必修——你在第 20 章已经和前者打过照面。学法照旧,而且你已经验证过它有效:每个概念先问「AI 里用在哪」,答不出就先不学。

三个问题的标准答案也留档在此,供你对照:参数就是矩阵元素,因为模型的一切计算是矩阵乘,而「学习」就是调那些矩阵里的数(01/06/20);注意力拆开全是点积,因为「谁该看谁」本质是批量相似度,QKᵀ 是点积的批发(04/07/22);秩 8 的补丁够微调,因为预训练已把基学好,微调的内在自由度远小于参数量,低秩走廊足以运送那点变化(12/17/23)。

动手的路(推荐首选)。数学的肌肉靠代码长:① 用纯 NumPy 把第 20/21 章的两层网络写完整,在 MNIST 上真的训到 97%——本书代码块已给出全部零件;② 读/抄一遍 micrograd(百来行的 autograd)和 nanoGPT(几百行的 GPT),你会惊讶于每一行都认识;③ 给一个开源 7B 模型跑一次 LoRA 微调,亲手验证第 23 章的三笔账。做完这三件事,「学会了」就不再是感觉,是事实——而且这三件事的总时长,大约只是一个认真的周末加几个晚上。

想在线性代数本身再深一层,三个公认的好去处:3Blue1Brown 的《线性代数的本质》视频系列(本书几何视角的精神源头,动画比文字更丝滑);MIT Gilbert Strang 的公开课(四个基本子空间讲得最透的老先生);《Mathematics for Machine Learning》(免费电子书,三大件一网打尽,习题带答案)。有本书的直觉打底,它们都会读得飞快。

接着读的路。本站的 AI 入门地图有整条学习路线的全景;如果你对「模型如何被组装成会干活的系统」更感兴趣,隔壁小书《我,Agent》从模型、工具、循环讲到 MCP 与多智能体——那本书把模型当黑盒使,而黑盒的内部,你刚刚全程点过灯:两本连读,「AI 是什么」与「AI 怎么干活」就都齐了。

给未来自己的三张便签

知识会淡忘,纪律能长存。最后,把全书的工程纪律压成三张可以贴在显示器上的便签——半年后哪怕公式全忘,做到这三条,这本书就还在给你干活。便签一「先看形状」:接手任何 AI 代码,第一遍只追踪张量形状;接手任何数据,第一件事量它的谱(matrix_rank、奇异值曲线、条件数)——形状与谱是免费的体检,加起来不超过五行代码,做了再谈观点。便签二「先怀疑度量与坐标系」:效果不对,先查度量选没选对(点积/余弦/欧氏、MSE/MAE)、量纲齐不齐、坐标系是不是别人的默认而非你的选择——多数「模型问题」是度量问题。便签三「先问自由度」:遇到「太大」「太慢」「太贵」,先问这个系统的有效自由度有多少——答案几乎总比名义维度小得多,而省钱的入口就在差值里。三张便签没有一个公式,但它们是二十四章数学在工程师手里最终的形状。

结语:张成

回到书名,做最后一次盘点。这本书教的东西,拆到最后小得惊人:一支箭、两种动作(加法与数乘)、一条军规(线性)、一个念头(换个坐标系看看)——原料表短到可以印在名片背面。但你已经亲眼看到它们张成了什么:从像素到语义,从最小二乘到七十亿参数的模型算术,从 1805 年高斯的谷神星轨道到今天你手机里的每一次对话,从莱布尼茨的行列式到昨天刚挂上 arXiv 的新架构。少数几个方向,生成一整个空间——这就是张成,也是学习本身的样子。你大学时没学会它,不是你的错——没有人告诉你它通往哪里;现在你带着「为什么要学它」的答案、揣着十四个亲手玩过的 Demo、认识了每一个在大模型里上班的矩阵,重新走完了全程。这一次,它是你的了。旅途愉快。∎