最小二乗ノルム最小解
定義1. 最小二乗解
線型方程式 \(A\boldsymbol{x}=\boldsymbol{b}\) について
\begin{align} &\hat{\boldsymbol{x}}\ が \ A\boldsymbol{x}=\boldsymbol{b}\ の最小二乗解である\\ &\overset{\mathrm{def}}{\iff} \forall\boldsymbol{x}\in\mathbb{k}^n \ (\|A\boldsymbol{x}-\boldsymbol{b}\|\ge \|A\hat{\boldsymbol{x}}-\boldsymbol{b}\|) \end{align}定義2. ノルム最小解
線型方程式 \(A\boldsymbol{x}=\boldsymbol{b}\) について
\begin{align} &\hat{\boldsymbol{x}}\ が \ A\boldsymbol{x}=\boldsymbol{b}\ のノルム最小解である\\ &\overset{\mathrm{def}}{\iff} A\hat{\boldsymbol{x}}=\boldsymbol{b}\ \wedge \ \forall\boldsymbol{x}\in\mathbb{k}^n \ (A\boldsymbol{x}=\boldsymbol{b} \Rightarrow\|\boldsymbol{x}\|\ge\|\hat{\boldsymbol{x}}\|) \end{align}定義3. 最小二乗ノルム最小解
線型方程式 \(A\boldsymbol{x}=\boldsymbol{b}\) について
\begin{align} \hat{\boldsymbol{x}}\ が\ A\boldsymbol{x}&=\boldsymbol{b} \ の最小二乗ノルム最小解である\\ \overset{\mathrm{def}}{\iff} \ &\hat{\boldsymbol{x}}\ が最小二乗解であり\\ &\forall\boldsymbol{x}\in\mathbb{k}^n \ (\|A\boldsymbol{x}-\boldsymbol{b}\|= \|A\hat{\boldsymbol{x}}-\boldsymbol{b}\| \Rightarrow\|\boldsymbol{x}\|\ge\|\hat{\boldsymbol{x}}\|) \end{align}Moore-Penrose逆行列
定義4. Moore-Penrose逆行列
任意の \(A\in\mathbb{k}^{m\times n}\) について, 以下の4条件を満たす \(A^+\in\mathbb{k}^{n\times m}\) を \(A\) のMoore-Penrose逆行列という.
\begin{align} AA^+A&=A\tag{1}\\ A^+AA^+&=A^+\tag{2}\\ (AA^+)^*&=AA^+\tag{3}\\ (A^+A)^*&=A^+A\tag{4} \end{align}またこの4条件をMoore-Penrose条件という.
定理1. Moore-Penrose逆行列による最小二乗ノルム最小解の表現
任意の線型方程式 \(A\boldsymbol{x}=\boldsymbol{b}\) の最小二乗ノルム最小解は
\(\hat{\boldsymbol{x}}=A^+\boldsymbol{b}\) と表される.