遵义做网站的公司,天津网站建设学习,小说网站建设,网络媒体发稿奇异值与其应用
1. 奇异值定义
对于任意的矩阵 A A A#xff08;可以是方阵或非方阵#xff09;#xff0c;存在三个矩阵 U U U、 Σ \Sigma Σ 和 V V V#xff0c;使得#xff1a; A U Σ V T A U \Sigma V^T AUΣVT 其中#xff1a; U U U 是一个 m m m \ti…奇异值与其应用
1. 奇异值定义
对于任意的矩阵 A A A可以是方阵或非方阵存在三个矩阵 U U U、 Σ \Sigma Σ 和 V V V使得 A U Σ V T A U \Sigma V^T AUΣVT 其中 U U U 是一个 m × m m \times m m×m 的正交矩阵表示左奇异向量 V V V 是一个 n × n n \times n n×n 的正交矩阵表示右奇异向量 Σ \Sigma Σ 是一个 m × n m \times n m×n 的对角矩阵其中对角线上的元素为奇异值。
2. 奇异值的性质
非负性奇异值始终为非负数即对角矩阵 Σ \Sigma Σ 的对角元素均为非负。奇异值的数量对于一个 m × n m \times n m×n 的矩阵 A A A最多有 min ( m , n ) \min(m, n) min(m,n) 个奇异值。矩阵的秩矩阵 A A A 的秩等于其非零奇异值的数量。特征值与奇异值的关系方阵 A A A 的奇异值是矩阵 A T A A^T A ATA 的特征值的平方根。不变性奇异值是矩阵的固有属性与矩阵的旋转或变换无关。
2.1 奇异值分解的示例
为了更好地理解奇异值分解的具体过程和应用我们通过一个简单的例子展示如何进行奇异值分解。
示例矩阵
考虑一个 3 × 2 3 \times 2 3×2 的矩阵 A A A A ( 1 0 0 1 1 1 ) A \begin{pmatrix} 1 0 \\ 0 1 \\ 1 1 \end{pmatrix} A 101011
我们将对这个矩阵进行奇异值分解。
1. 计算 A T A A^T A ATA
首先我们计算矩阵 A T A A^T A ATA A T A ( 1 0 1 0 1 1 ) ( 1 0 0 1 1 1 ) ( 2 1 1 2 ) A^T A \begin{pmatrix} 1 0 1 \\ 0 1 1 \end{pmatrix} \begin{pmatrix} 1 0 \\ 0 1 \\ 1 1 \end{pmatrix} \begin{pmatrix} 2 1 \\ 1 2 \end{pmatrix} ATA(100111) 101011 (2112)
2. 求 A T A A^T A ATA 的特征值和特征向量
接下来我们求矩阵 A T A A^T A ATA 的特征值和特征向量。先写出特征方程 det ( A T A − λ I ) det ( 2 − λ 1 1 2 − λ ) ( 2 − λ ) 2 − 1 λ 2 − 4 λ 3 0 \det(A^T A - \lambda I) \det\begin{pmatrix} 2 - \lambda 1 \\ 1 2 - \lambda \end{pmatrix} (2 - \lambda)^2 - 1 \lambda^2 - 4\lambda 3 0 det(ATA−λI)det(2−λ112−λ)(2−λ)2−1λ2−4λ30 解得特征值为 λ 1 3 , λ 2 1 \lambda_1 3, \quad \lambda_2 1 λ13,λ21
对于 λ 1 3 \lambda_1 3 λ13解特征方程 ( A T A − 3 I ) v 0 (A^T A - 3I)v 0 (ATA−3I)v0 得到特征向量 v 1 1 2 ( 1 1 ) v_1 \frac{1}{\sqrt{2}} \begin{pmatrix} 1 \\ 1 \end{pmatrix} v12 1(11)
对于 λ 2 1 \lambda_2 1 λ21解 ( A T A − I ) v 0 (A^T A - I)v 0 (ATA−I)v0 得到特征向量 v 2 1 2 ( 1 − 1 ) v_2 \frac{1}{\sqrt{2}} \begin{pmatrix} 1 \\ -1 \end{pmatrix} v22 1(1−1)
因此矩阵 V V V 的列向量是特征向量 V ( 1 2 1 2 1 2 − 1 2 ) V \begin{pmatrix} \frac{1}{\sqrt{2}} \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} -\frac{1}{\sqrt{2}} \end{pmatrix} V(2 12 12 1−2 1)
3. 计算奇异值
奇异值是 A T A A^T A ATA 的特征值的平方根因此 σ 1 3 , σ 2 1 1 \sigma_1 \sqrt{3}, \quad \sigma_2 \sqrt{1} 1 σ13 ,σ21 1 因此矩阵 Σ \Sigma Σ 为 Σ ( 3 0 0 1 0 0 ) \Sigma \begin{pmatrix} \sqrt{3} 0 \\ 0 1 \\ 0 0 \end{pmatrix} Σ 3 00010
4. 计算 U U U
矩阵 U U U 的列向量是矩阵 A A A 的左奇异向量左奇异向量通过公式 A v i σ i u i A v_i \sigma_i u_i Aviσiui 计算。
对于 σ 1 3 \sigma_1 \sqrt{3} σ13 我们有 A ( 1 2 1 2 ) ( 1 1 2 ) , u 1 1 6 ( 1 1 2 ) A \begin{pmatrix} \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} \end{pmatrix} \begin{pmatrix} 1 \\ 1 \\ 2 \end{pmatrix}, \quad u_1 \frac{1}{\sqrt{6}} \begin{pmatrix} 1 \\ 1 \\ 2 \end{pmatrix} A(2 12 1) 112 ,u16 1 112
对于 σ 2 1 \sigma_2 1 σ21我们有 A ( 1 2 − 1 2 ) ( 1 − 1 0 ) , u 2 1 2 ( 1 − 1 0 ) A \begin{pmatrix} \frac{1}{\sqrt{2}} \\ -\frac{1}{\sqrt{2}} \end{pmatrix} \begin{pmatrix} 1 \\ -1 \\ 0 \end{pmatrix}, \quad u_2 \frac{1}{\sqrt{2}} \begin{pmatrix} 1 \\ -1 \\ 0 \end{pmatrix} A(2 1−2 1) 1−10 ,u22 1 1−10
因此矩阵 U U U 为 U ( 1 6 1 2 1 6 − 1 2 2 6 0 ) U \begin{pmatrix} \frac{1}{\sqrt{6}} \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{6}} -\frac{1}{\sqrt{2}} \\ \frac{2}{\sqrt{6}} 0 \end{pmatrix} U 6 16 16 22 1−2 10
5. 奇异值分解结果
最终矩阵 A A A 的奇异值分解为 A U Σ V T A U \Sigma V^T AUΣVT 其中 U ( 1 6 1 2 1 6 − 1 2 2 6 0 ) , Σ ( 3 0 0 1 0 0 ) , V T ( 1 2 1 2 1 2 − 1 2 ) U \begin{pmatrix} \frac{1}{\sqrt{6}} \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{6}} -\frac{1}{\sqrt{2}} \\ \frac{2}{\sqrt{6}} 0 \end{pmatrix}, \quad \Sigma \begin{pmatrix} \sqrt{3} 0 \\ 0 1 \\ 0 0 \end{pmatrix}, \quad V^T \begin{pmatrix} \frac{1}{\sqrt{2}} \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} -\frac{1}{\sqrt{2}} \end{pmatrix} U 6 16 16 22 1−2 10 ,Σ 3 00010 ,VT(2 12 12 1−2 1) 3. 奇异值分解的应用
3.1 数据降维与压缩
奇异值分解可用于数据降维特别是在图像处理或主成分分析PCA中通过保留最大的奇异值能够有效减少数据量同时保留数据的主要信息。
3.2 最小二乘问题
在解超定方程或病态方程时奇异值分解能够提供稳定的最小二乘解。通过分解矩阵 A A A 为奇异值分解形式 A U Σ V T A U \Sigma V^T AUΣVT我们可以稳定地求解方程组。 例子奇异值分解在数据压缩中的应用
1. 问题描述
假设我们有一张大小为 100 × 100 100 \times 100 100×100 的灰度图像用一个矩阵 A A A 表示每个元素表示像素的亮度值。我们希望通过奇异值分解对这张图像进行压缩。
2. 奇异值分解
对矩阵 A A A 进行奇异值分解得到 A U Σ V T A U \Sigma V^T AUΣVT 其中 U U U 是 100 × 100 100 \times 100 100×100 的矩阵 Σ \Sigma Σ 是 100 × 100 100 \times 100 100×100 的对角矩阵包含奇异值 V T V^T VT 是 100 × 100 100 \times 100 100×100 的矩阵。
3. 压缩过程
我们只保留最大的 k 20 k 20 k20 个奇异值构造近似矩阵 A k A_k Ak A k U k Σ k V k T A_k U_k \Sigma_k V_k^T AkUkΣkVkT 其中 U k U_k Uk 是 100 × 20 100 \times 20 100×20 的矩阵 Σ k \Sigma_k Σk 是 20 × 20 20 \times 20 20×20 的对角矩阵 V k T V_k^T VkT 是 20 × 100 20 \times 100 20×100 的矩阵。
经过压缩后总数据量从原来的 10,000 个数据点减少到 6400 个数据点。 例子奇异值分解在最小二乘问题中的应用
1. 问题描述
我们要解一个线性方程组 A x b A x b Axb 其中 A A A 是一个 3 × 2 3 \times 2 3×2 的矩阵 b b b 是一个 3 × 1 3 \times 1 3×1 的已知向量。
矩阵 A A A 和向量 b b b 如下 A ( 1 0 0 1 1 1 ) , b ( 2 2 4 ) A \begin{pmatrix} 1 0 \\ 0 1 \\ 1 1 \end{pmatrix}, \quad b \begin{pmatrix} 2 \\ 2 \\ 4 \end{pmatrix} A 101011 ,b 224
2. 奇异值分解求解最小二乘问题
我们首先对 A A A 进行奇异值分解 A U Σ V T A U \Sigma V^T AUΣVT 通过计算得到 U ( − 0.577 0.707 − 0.577 − 0.707 − 0.577 0.000 ) , Σ ( 1.732 0 0 1 ) , V T ( − 0.707 − 0.707 0.707 − 0.707 ) U \begin{pmatrix} -0.577 0.707 \\ -0.577 -0.707 \\ -0.577 0.000 \end{pmatrix}, \quad \Sigma \begin{pmatrix} 1.732 0 \\ 0 1 \end{pmatrix}, \quad V^T \begin{pmatrix} -0.707 -0.707 \\ 0.707 -0.707 \end{pmatrix} U −0.577−0.577−0.5770.707−0.7070.000 ,Σ(1.732001),VT(−0.7070.707−0.707−0.707)
2.1 计算 U T b U^T b UTb U T b ( − 0.577 − 0.577 − 0.577 0.707 − 0.707 0 ) ( 2 2 4 ) ( − 4.618 1.414 ) U^T b \begin{pmatrix} -0.577 -0.577 -0.577 \\ 0.707 -0.707 0 \end{pmatrix} \begin{pmatrix} 2 \\ 2 \\ 4 \end{pmatrix} \begin{pmatrix} -4.618 \\ 1.414 \end{pmatrix} UTb(−0.5770.707−0.577−0.707−0.5770) 224 (−4.6181.414)
2.2 解 Σ y U T b \Sigma y U^T b ΣyUTb Σ y ( 1.732 0 0 1 ) ( y 1 y 2 ) ( − 4.618 1.414 ) \Sigma y \begin{pmatrix} 1.732 0 \\ 0 1 \end{pmatrix} \begin{pmatrix} y_1 \\ y_2 \end{pmatrix} \begin{pmatrix} -4.618 \\ 1.414 \end{pmatrix} Σy(1.732001)(y1y2)(−4.6181.414) 解得 y 1 − 2.666 , y 2 1.414 y_1 -2.666, \quad y_2 1.414 y1−2.666,y21.414
2.3 计算 x V y x V y xVy x V y ( − 0.707 − 0.707 0.707 − 0.707 ) ( − 2.666 1.414 ) ( 2 1 ) x V y \begin{pmatrix} -0.707 -0.707 \\ 0.707 -0.707 \end{pmatrix} \begin{pmatrix} -2.666 \\ 1.414 \end{pmatrix} \begin{pmatrix} 2 \\ 1 \end{pmatrix} xVy(−0.7070.707−0.707−0.707)(−2.6661.414)(21)
因此最小二乘解为 x ( 2 1 ) x \begin{pmatrix} 2 \\ 1 \end{pmatrix} x(21)。 总结
奇异值分解在数据压缩和最小二乘问题中有广泛的应用。在数据压缩中通过保留最大的奇异值我们可以有效减少数据量压缩图片或信号在最小二乘问题中SVD 提供了数值稳定的解法特别适用于病态或超定方程组。
