线性代数核心概念
向量 (Vector)
向量是有大小和方向的量，在机器学习中表示特征。
表示方法：
二维向量：v = [x, y]
三维向量：v = [x, y, z]
n 维向量：v = [v₁, v₂, ..., vₙ]向量运算：
# 加法 u + v = [u₁ + v₁, u₂ + v₂, ..., uₙ + vₙ]数乘
αv = [αv₁, αv₂, …, αvₙ]
点积 (内积)
u · v = Σ uᵢvᵢ = |u||v|cos(θ)
范数 (长度)
||v|| = √(v₁² + v₂² + … + vₙ²)
矩阵 (Matrix)
矩阵是向量的推广，用于表示线性变换和数据集。
基本运算：
# 矩阵加法 (同维度) (A + B)ᵢⱼ = Aᵢⱼ + Bᵢⱼ矩阵乘法
(C = AB) → Cᵢⱼ = Σₖ AᵢₖBₖⱼ
转置
(Aᵀ)ᵢⱼ = Aⱼᵢ
逆矩阵 (方阵且可逆)
AA⁻¹ = A⁻¹A = I
特殊矩阵
| 类型 | 定义 | 示例 |
|---|---|---|
| 单位矩阵 | 对角线为 1，其余为 0 | I = [[1,0],[0,1]] |
| 对角矩阵 | 非对角线元素为 0 | D = diag(d₁,d₂,…,dₙ) |
| 对称矩阵 | A = Aᵀ | 协方差矩阵 |
| 正交矩阵 | QᵀQ = QQᵀ = I | 旋转矩阵 |
行列式 (Determinant)
行列式是方阵的标量值，表示线性变换的缩放因子。
二阶行列式：
|A| = |a b|
|c d| = ad - bc性质：
- |AB| = |A||B|
- |Aᵀ| = |A|
- |A⁻¹| = 1/|A|
- 若 |A| = 0，则 A 不可逆
特征值与特征向量
对于方阵 A，若存在非零向量 v 和标量 λ 满足：
Av = λv
则 λ 为特征值，v 为对应的特征向量
求解步骤：
- 解特征方程：|A - λI| = 0
- 对每个 λ，解 (A - λI)v = 0 得特征向量
应用：
- PCA 主成分分析
- 矩阵对角化
- 稳定性分析
矩阵分解
特征分解：
A = PDP⁻¹
D 为特征值对角矩阵，P 为特征向量矩阵
奇异值分解 (SVD)：
A = UΣVᵀ
U, V 为正交矩阵，Σ 为奇异值对角矩阵
应用：
- 数据降维
- 推荐系统
- 图像压缩