跳到主要內容

卷積神經網路

一個小到能親手驗算的卷積網路

自己畫一張圖給模型看

在 12 × 12 的格子上點擊或拖曳,或選一個範例。鍵盤可用方向鍵移動、空白鍵畫圖。這個模型只認得四種筆畫。

目前的圖:CNN 判斷為「十字」100.0%。
此速度約 5 分鐘步驟 1/24

1/24 · 認識這個模型 · 同一個十字,往右移 5 格。兩張 12 × 12 的圖:同一個十字,第二張右移 5 格。每張圖都附 CNN 與 MLP 的四類機率。

落在訓練範圍內訓練區 · 第 0–6 欄CNN直線<0.1%橫線<0.1%十字 ★>99.9%轉角<0.1%MLP直線<0.1%橫線<0.1%十字 ★>99.9%轉角<0.1%同一個十字,右移訓練區 · 第 0–6 欄CNN直線<0.1%橫線<0.1%十字 ★>99.9%轉角<0.1%MLP直線99.7%橫線<0.1%十字 ★<0.1%轉角0.3%★ 標示正確答案
認識這個模型1/2

同一個十字,往右移 5 格

原圖的十字落在訓練範圍內:CNN 答「十字」>99.9%,全連接網路(MLP)答「十字」>99.9%。同一個十字右移 5 格,CNN 仍答「十字」>99.9%,MLP 卻以 99.7% 答「直線」。

兩個網路看過完全相同的訓練圖,訓練集都答對 489/489。差別在架構:MLP 是 144 → 16 → 4 的全連接網路(2,388 個參數),每個像素各有自己的權重;CNN 則用同一個小窗格掃過整張圖。這一頁把這個 372 個參數的 CNN 拆開,一步一步算給你看。

這一頁用到的名詞,一句話一個
卷積(convolution)
同一個小卷積核在圖上每個位置做內積:對應格相乘再相加,加上 bias。深度學習裡的「卷積」實際上多半是不翻轉卷積核的互相關(cross-correlation)。
卷積核(kernel)/filter
一小格可學習的權重,例如 3 × 3。一個 filter 產生一張特徵圖;同一層有幾個 filter 就有幾張特徵圖。
特徵圖(feature map)
一個 filter 在每個位置的輸出排成的圖:哪裡出現它偏好的局部圖樣,哪裡的值就大。
權重共享(weight sharing)
同一組卷積核用在所有位置,所以參數量與圖片大小無關,在左邊學到的偵測方式也直接用在右邊。
padding
在圖的邊緣補 0,讓卷積核中心能落在邊緣像素上,輸出維持同樣大小。
ReLU
max(0, x):負值變 0,正值不變。它讓網路能堆疊出非線性的運算。
max pooling(max pooling)
每個 2 × 2 小格只留最大值,長寬各減半;會丟掉小格內的位置,移動 1 格可能改變分組。
感受野(receptive field)
某個輸出值實際讀得到的輸入範圍。本頁的卷積與 pooling 逐層擴大理論感受野,靠近邊界能讀到的真實像素較少。
global max pooling(global max pooling)
整張特徵圖只留一個最大值:只問「這個特徵有沒有在任何地方出現」,不管在哪裡。
平移等變/不變
等變:輸入移動,特徵圖跟著移動。不變:輸入移動,輸出不變。共享卷積在內部位置提供等變。全域取最大值對相同數值重新排列不變。補零和下採樣可能改變數值。
全連接層(dense / fully connected)
每個輸入都有自己的一組權重連到每個輸出。neural network 那一頁的 MLP 就是全連接層疊成的。
歸納偏置(inductive bias)
架構在看到資料之前就內建的假設。CNN 假設局部圖樣重要、且同一圖樣在哪裡出現都一樣。

空白鍵播放/暫停,← → 逐步。