卷積神經(jīng)網(wǎng)絡(luò )通常從訓練數據中學(xué)習有用的特征。第一個(gè)卷積層學(xué)習到的特征往往是視任務(wù)而定的一些訓練數據的基本元素。例如，在圖像數據中，學(xué)習到的特征可以體現邊緣和斑點(diǎn)。在后續的網(wǎng)絡(luò )層中，這些學(xué)習到的特征可以表現更加抽象，更高級的特點(diǎn)。

　　將學(xué)習到的特征以及它們隨時(shí)間的變化可視化，可以提供一些關(guān)于網(wǎng)絡(luò )如何學(xué)習的有效信息。實(shí)際上，網(wǎng)絡(luò )結構遠遠不僅是幾層網(wǎng)絡(luò )那么簡(jiǎn)單，大量的卷積核使得直觀(guān)解釋和分析學(xué)習到的特征變得十分困難。

　　然而，我們可以通過(guò)對照實(shí)驗證明卷積核的權重是如何隨著(zhù)網(wǎng)絡(luò )的學(xué)習而實(shí)時(shí)發(fā)展。由于網(wǎng)絡(luò )應該學(xué)習到的特點(diǎn)已經(jīng)被提前知道，即產(chǎn)生數據的過(guò)程和參數是被完全定義并且完全在我們的掌控之中，學(xué)習任務(wù)可以很容易的被確定。我們可以通過(guò)構建一個(gè)非常簡(jiǎn)單的單層卷積網(wǎng)絡(luò )并訓練它利用多種核進(jìn)行線(xiàn)性濾波來(lái)實(shí)現上述過(guò)程。

　　在接下來(lái)的實(shí)驗中，我們在數據集上運用一種圖像處理和計算機視覺(jué)中常用的傳統邊緣檢測方式——Sobel 邊緣濾波，并訓練我們的模型進(jìn)行類(lèi)似的線(xiàn)性映射。我們也嘗試著(zhù)利用比 Sobel 濾波器更大一些的核去學(xué)習一些形式更為普通和任意的濾波器。

　　這些可以幫我們感受神經(jīng)網(wǎng)絡(luò )中的卷積層如何對輸入數據進(jìn)行操作，卷積核的權重在訓練中如何變化以及神經(jīng)網(wǎng)絡(luò )的訓練是如何被視為最小化問(wèn)題的。

　　首先，我們必須用線(xiàn)性濾波器去處理圖像數據 X 來(lái)獲取原始圖像濾波后的結果 Y。線(xiàn)性濾波器操作可以被總結為如下形式：

　　對任何一組參數 (卷積核) 或我們所能想到的輸入數據，線(xiàn)性濾波器都具有良好定義的操作。

　　我們現在可以構造一個(gè)單層，單核的近似線(xiàn)性濾波的卷積神經(jīng)網(wǎng)絡(luò )。在線(xiàn)性濾波器和卷積神經(jīng)網(wǎng)絡(luò )這兩種方式中發(fā)生的計算除了我們要從數據中學(xué)習到的卷積核參數外是完全一樣的。