第 21 章 多线性代数与张量¶
前置：向量空间 (Ch04) · 线性变换 (Ch05) · 对偶空间 (Ch13A)
本章脉络：从线性到多线性 \(\to\) 多线性映射定义 \(\to\) 张量积 (Tensor Product) 的泛性质与公理化构造 \(\to\) 张量的分量表示与指标记号 \(\to\) 张量空间 \(V \otimes W\) 的维数 \(\to\) 张量秩 (Tensor Rank) 与 CP 分解 \(\to\) Tucker 分解 \(\to\) 算子与张量的对应关系 \(\to\) 应用：多变量统计分析、量子纠缠态描述、高维数据压缩
延伸：张量是线性代数向高维空间的自然推广；它打破了矩阵“行与列”的二元限制，引入了多轴耦合的代数结构，是现代深度学习（张量流）和广义相对论的底层数学骨架
线性代数主要研究向量（1 阶张量）和矩阵（2 阶张量）。然而，在现代物理和数据科学中，我们需要处理具有多个指标的量（如 3 阶或更高阶张量）。多线性代数（Multilinear Algebra）通过张量积（Tensor Product）将线性变换的理论扩展到了任意维度。本章将介绍张量的泛性质定义及其在描述复杂高维交互中的核心作用。
21.1 张量积的定义¶
定义 21.1 (张量积)
向量空间 \(V\) 和 \(W\) 的张量积 \(V \otimes W\) 是一个新的向量空间，它配备了一个双线性映射 \(\otimes: V \times W \to V \otimes W\)，满足泛性质：任何从 \(V \times W\) 到 \(U\) 的双线性映射都可以唯一地诱导一个从 \(V \otimes W\) 到 \(U\) 的线性映射。
维数性质
\(\dim(V \otimes W) = \dim(V) \cdot \dim(W)\)。
21.2 张量的阶与秩¶
定义 21.2 (张量的阶与秩)
- 阶 (Order/Mode)：指标的个数。矩阵是 2 阶张量。
- 张量秩 (Rank)：将张量写成最小数量的纯张量（Rank-1 tensors，即 \(v_1 \otimes v_2 \otimes \cdots\)）之和所需的项数。 注意：与矩阵秩不同，高阶张量秩的计算是 NP-难的。
21.3 张量分解¶
核心分解模型
- CP 分解 (CANDECOMP/PARAFAC)：将张量分解为 Rank-1 张量的和。
- Tucker 分解：将张量分解为一个核心张量与各个维度上的因子矩阵的乘积（类似于高阶 SVD）。
练习题¶
1. [基础] 若 \(V\) 维数为 2，\(W\) 维数为 3，求 \(V \otimes W\) 的维数并列出其基向量。
参考答案
计算： 1. \(\dim(V \otimes W) = 2 \cdot 3 = 6\)。 2. 设 \(V\) 的基为 \(\{e_1, e_2\}\)，\(W\) 的基为 \(\{f_1, f_2, f_3\}\)。 基向量：\(\{e_1 \otimes f_1, e_1 \otimes f_2, e_1 \otimes f_3, e_2 \otimes f_1, e_2 \otimes f_2, e_2 \otimes f_3\}\)。
2. [张量积性质] 证明：\((v_1 + v_2) \otimes w = v_1 \otimes w + v_2 \otimes w\)。
参考答案
理由： 这是由张量积定义中的双线性性（Bilinearity）直接保证的。张量积算子 \(\otimes\) 关于每一个输入位置都是线性的。
3. [矩阵视角] 证明：任何 \(m \times n\) 矩阵都可以视为 \(V \otimes W^*\) 中的一个张量。
参考答案
代数映射： 1. 线性变换 \(T: W \to V\) 构成了空间 \(\mathcal{L}(W, V)\)。 2. 存在经典同构：\(\mathcal{L}(W, V) \cong V \otimes W^*\)。 3. 一个纯张量 \(v \otimes f\) 对应于算子 \(T(w) = f(w)v\)，这正是一个秩为 1 的矩阵。 结论：矩阵的加法与张量积的性质完全相容。
4. [计算] 给定 \(v = (1, 2)^T, w = (0, 3)^T\)，写出其张量积 \(v \otimes w\)（作为矩阵表示）。
参考答案
计算步骤： 对于坐标空间，张量积对应于外积 \(v w^T\)。 \(v \otimes w = \begin{pmatrix} 1 \cdot 0 & 1 \cdot 3 \\ 2 \cdot 0 & 2 \cdot 3 \end{pmatrix} = \begin{pmatrix} 0 & 3 \\ 0 & 6 \end{pmatrix}\)。
5. [张量秩] 判定上述张量 \(\begin{pmatrix} 0 & 3 \\ 0 & 6 \end{pmatrix}\) 的秩。
参考答案
结论：秩为 1。 理由：该矩阵已经由两个向量的张量积（外积）直接给出。按照定义，能由单个纯张量表示的量，其秩为 1。
6. [高阶张量] 一个 \(3 \times 3 \times 3\) 的张量有多少个元素？
参考答案
计算： \(3 \cdot 3 \cdot 3 = 27\)。 随着阶数的增加，元素的个数呈指数级增长，这就是所谓的“维度灾难”。
7. [指标记号] 写出张量缩并 (Contraction) \(C_{ik} = \sum_j A_{ij} B_{jk}\) 的爱因斯坦求和约定形式。
参考答案
结论： \(C_{ik} = A_{ij} B^{jk}\)。 在爱因斯坦约定中，上下重复出现的指标隐含了求和。这极大地简化了多线性算子的书写。
8. [CP分解] 简述 CP 分解在数据分析中的作用。
参考答案
解释： CP 分解旨在寻找数据中最本质的、独立的分量。例如在分析（时间 \(\times\) 频率 \(\times\) 空间）的三维信号时，CP 分解可以将复杂的张量拆解为若干个简单的“特征时间线”、“特征频谱”和“特征位置图”的组合，实现跨维度的特征提取。
9. [唯一性] 与矩阵 SVD 相比，高阶张量的 CP 分解在唯一性上有什么特点？
参考答案
核心优势： 在非常宽松的条件下，高阶张量的 CP 分解是唯一的（不计缩放和排列顺序）。 对比：矩阵分解 \(A=BC\) 存在无限多种旋转可能性（除非施加正交性或非负性约束）。这使得张量分解在不需要人为约束的情况下就能实现自动的信号分离（盲源分离）。
10. [应用] 为什么量子纠缠态不能进行简单的张量分解？
参考答案
物理深度： 1. 一个多粒子联合态 \(|\psi\rangle\) 属于 Hilbert 空间的张量积 \(H_1 \otimes H_2\)。 2. 如果 \(|\psi\rangle\) 可以写成 \(v_1 \otimes v_2\)（秩 1 张量），则称其为可分态（无纠缠）。 3. 纠缠态定义为那些秩大于 1 的张量。由于无法分解为独立的成分，测量其中一个粒子会瞬间影响另一个粒子的描述，这正是张量叠加性的物理体现。
本章小结¶
多线性代数将线性思维推向了全维度空间：
- 构造的通用性：张量积通过泛性质确立了多轴数据交互的唯一合法方式，为描述力学应力、电磁场和量子态提供了统一模板。
- 秩的进化：从矩阵秩到张量秩的演进揭示了高维空间中“结构简化”的复杂性，同时也带来了分解唯一性等优良特征。
- 信息的编织：张量理论证明了复杂的系统性质往往隐藏在指标间的相互耦合中，是现代大数据分析和高能物理不可或缺的代数基石。