卷積神經網路
一個小到能親手驗算的卷積網路
自己畫一張圖給模型看
在 12 × 12 的格子上點擊或拖曳,或選一個範例。鍵盤可用方向鍵移動、空白鍵畫圖。這個模型只認得四種筆畫。
目前的圖:CNN 判斷為「十字」100.0%。
此速度約 5 分鐘步驟 1/24
1/24 · 認識這個模型 · 同一個十字,往右移 5 格。兩張 12 × 12 的圖:同一個十字,第二張右移 5 格。每張圖都附 CNN 與 MLP 的四類機率。
認識這個模型1/2
同一個十字,往右移 5 格
原圖的十字落在訓練範圍內:CNN 答「十字」>99.9%,全連接網路(MLP)答「十字」>99.9%。同一個十字右移 5 格,CNN 仍答「十字」>99.9%,MLP 卻以 99.7% 答「直線」。
兩個網路看過完全相同的訓練圖,訓練集都答對 489/489。差別在架構:MLP 是 144 → 16 → 4 的全連接網路(2,388 個參數),每個像素各有自己的權重;CNN 則用同一個小窗格掃過整張圖。這一頁把這個 372 個參數的 CNN 拆開,一步一步算給你看。
這一頁用到的名詞,一句話一個
- 卷積(convolution)
- 同一個小卷積核在圖上每個位置做內積:對應格相乘再相加,加上 bias。深度學習裡的「卷積」實際上多半是不翻轉卷積核的互相關(cross-correlation)。
- 卷積核(kernel)/filter
- 一小格可學習的權重,例如 3 × 3。一個 filter 產生一張特徵圖;同一層有幾個 filter 就有幾張特徵圖。
- 特徵圖(feature map)
- 一個 filter 在每個位置的輸出排成的圖:哪裡出現它偏好的局部圖樣,哪裡的值就大。
- 權重共享(weight sharing)
- 同一組卷積核用在所有位置,所以參數量與圖片大小無關,在左邊學到的偵測方式也直接用在右邊。
- padding
- 在圖的邊緣補 0,讓卷積核中心能落在邊緣像素上,輸出維持同樣大小。
- ReLU
- max(0, x):負值變 0,正值不變。它讓網路能堆疊出非線性的運算。
- max pooling(max pooling)
- 每個 2 × 2 小格只留最大值,長寬各減半;會丟掉小格內的位置,移動 1 格可能改變分組。
- 感受野(receptive field)
- 某個輸出值實際讀得到的輸入範圍。本頁的卷積與 pooling 逐層擴大理論感受野,靠近邊界能讀到的真實像素較少。
- global max pooling(global max pooling)
- 整張特徵圖只留一個最大值:只問「這個特徵有沒有在任何地方出現」,不管在哪裡。
- 平移等變/不變
- 等變:輸入移動,特徵圖跟著移動。不變:輸入移動,輸出不變。共享卷積在內部位置提供等變。全域取最大值對相同數值重新排列不變。補零和下採樣可能改變數值。
- 全連接層(dense / fully connected)
- 每個輸入都有自己的一組權重連到每個輸出。neural network 那一頁的 MLP 就是全連接層疊成的。
- 歸納偏置(inductive bias)
- 架構在看到資料之前就內建的假設。CNN 假設局部圖樣重要、且同一圖樣在哪裡出現都一樣。
空白鍵播放/暫停,← → 逐步。