最小平方解|大學一年級|數學學院

觀念

方程組 $A\mathbf{x} = \mathbf{b}$ 方程比未知數多時通常無解(資料有雜訊)。最小平方法 (least squares) 退而求其次:找 $\hat{\mathbf{x}}$ 讓殘差 $\|A\mathbf{x} - \mathbf{b}\|$ 最小。幾何上是把 $\mathbf{b}$ 投影到 $A$ 的行空間,代數上得到正規方程 (normal equations): $A^TA\hat{\mathbf{x}} = A^T\mathbf{b}$

直線配適 $y = mx + c$ : $A$ 的兩行是 $x_i$ 與全 1,正規方程變成 $\begin{cases}(\sum x_i^2)m + (\sum x_i)c = \sum x_iy_i\\(\sum x_i)m + nc = \sum y_i\end{cases}$ 。算例:點 $(0,1),(1,2),(2,4)$ 得 $m = \frac{3}{2}$ 、 $c = \frac{5}{6}$ 。

這就是統計迴歸分析的線性代數版本;Gauss 1801 年用它算出穀神星軌道。推廣到多項式、多變數迴歸只是把 $A$ 多加幾行;數值上用 QR 分解比直接算 $A^TA$ 穩定。

例題

用最小平方法 (least squares) 對資料點 $(1,-2), (2,1), (3,-2), (4,4)$ 配適直線 $y = mx + c$ ,求截距 $c$ (填最簡分數)。

看解法與答案

正規方程 (normal equations) $A^TA\mathbf{x} = A^T\mathbf{b}$ ( $A$ 的兩行是 $x_i$ 與 1): $\begin{cases} (\sum x^2)m + (\sum x)c = \sum xy \\ (\sum x)m + nc = \sum y \end{cases}$ 。

算各個和( $n = 4$ ): $\sum x = 10$ 、 $\sum y = 1$ 、 $\sum x^2 = 30$ 、 $\sum xy = (1)(-2) + (2)(1) + (3)(-2) + (4)(4) = 10$ 。

方程組: $30m + 10c = 10$ 、 $10m + 4c = 1$ 。

消去 $c$ : $m = \dfrac{n\sum xy - \sum x\sum y}{n\sum x^2 - (\sum x)^2} = \dfrac{4\cdot 10 - (10)(1)}{4\cdot 30 - (10)^2} = \dfrac{30}{20} = \frac{3}{2}$ 。

代回第二式: $c = \dfrac{\sum y - m\sum x}{n} = \dfrac{1 - (\frac{3}{2})(10)}{4} = -\frac{7}{2}$ 。

答案:

- \frac{7}{2}

用在哪裡

投資用過去 250 個交易日的日報酬對加權指數做最小平方迴歸,斜率就是 beta;beta 1.3 代表大盤漲 1% 平均漲 1.3%。
天文高斯 1801 年用最小平方法從少量觀測推算穀神星軌道,讓天文學家在它繞到太陽後方之後又找回它。

插畫

學習路徑

先學會

正交投影大一
反矩陣大一

學完可以接著學

簡單線性迴歸大二

互動練習在本機版

這個網站是觀念與例題的閱讀版。互動練習(每次出不同數字的新題、自動判對錯、錯題本、熟練度與複習排程)在「數學學院」本機版,目前還沒對外開放。