來源：pythonic生物人

深度學習和簡單的統(tǒng)計學是一回事嗎？很多人可能都有這個疑問，畢竟二者連術(shù)語都有很多相似的地方。在這篇文章中，理論計算機科學家、哈佛大學知名教授 Boaz Barak 詳細比較了深度學習與經(jīng)典統(tǒng)計學的差異，認為“如果純粹從統(tǒng)計學角度認識深度學習，就會忽略其成功的關(guān)鍵因素”。

圖源：https://twitter.com/YiMaTweets/status/1553913464183091200

深度學習（或一般的機器學習）經(jīng)常被認為是簡單的統(tǒng)計學，即它與統(tǒng)計學家研究的基本是相同的概念，但是使用與統(tǒng)計學不同的術(shù)語來描述。Rob Tibshirani 曾總結(jié)了下面這個有趣的“詞匯表”：

表中的某些內(nèi)容是不是很能引起共鳴？事實上所有從事機器學習的人都清楚，Tibshiriani 發(fā)布的這張表中，右側(cè)的許多術(shù)語在機器學習中已被廣泛使用。

如果純粹從統(tǒng)計學角度認識深度學習，就會忽略其成功的關(guān)鍵因素。對深度學習更恰當?shù)脑u價是：它使用統(tǒng)計學術(shù)語來描述完全不同的概念。

對深度學習的恰當評價不是它用不同的詞來描述舊的統(tǒng)計術(shù)語，而是它用這些術(shù)語來描述完全不同的過程

本文會解釋為什么深度學習的基礎其實不同于統(tǒng)計學，甚至不同于經(jīng)典的機器學習。本文首先討論模型擬合數(shù)據(jù)時的「解釋（explanation）」任務和「預測（prediction）」任務之間的差異。接著討論學習過程的兩個場景：

1. 使用經(jīng)驗風險最小化擬合統(tǒng)計模型; 

2. 向?qū)W生傳授數(shù)學技能。然后，文章又討論了哪一個場景更接近深度學習的本質(zhì)。

雖然深度學習的數(shù)學和代碼與擬合統(tǒng)計模型幾乎相同。但在更深層次上，深度學習更像是向?qū)W生傳授數(shù)學技能這種場景。而且應該很少有人敢宣稱：我掌握了完整的深度學習理論！其實是否存在這樣的理論也是存疑的。相反深度學習的不同方面最好從不同的角度來理解，而僅僅從統(tǒng)計角度無法提供完整的藍圖。

本文對比了深度學習和統(tǒng)計學，這里的統(tǒng)計學特指的是“經(jīng)典統(tǒng)計學”，因為它被研究得最久，并且在教科書中經(jīng)久不衰。許多統(tǒng)計學家正在研究深度學習和非經(jīng)典理論方法，就像 20 世紀物理學家需要擴展經(jīng)典物理學的框架一樣。事實上，模糊計算機科學家和統(tǒng)計學家之間的界限對雙方都是有利的。

一、預測與模型擬合

一直以來，科學家們都是將模型計算結(jié)果與實際觀測結(jié)果進行比較，以驗證模型的準確性。埃及天文學家托勒密提出了關(guān)于行星運動的巧妙模型。托勒密的模型遵循地心說，但有一系列的本輪（見下圖），使其具有極好的預測準確性。相比之下，哥白尼最初的日心說模型比托勒密模型簡單，但在預測觀察結(jié)果方面不太準確。（哥白尼后來添加了自己的本輪，以便能夠與托勒密的模型媲美。）

托勒密和哥白尼的模型都是無與倫比的。如果我們想通過 “黑盒” 進行預測，那么托勒密的地心模型更勝一籌。但如果你想要一個簡單的模型，以便可以“觀察模型內(nèi)部”（這是解釋恒星運動理論的起點），那么哥白尼的模型是不二選擇。后來，開普勒將哥白尼的模型改進為橢圓軌道，并提出了開普勒行星運動三定律，這使得牛頓能夠用適用于地球的引力定律來解釋行星規(guī)律。

因此，重要的是，日心說模型不只是一個提供預測的“黑盒”，而是由幾個簡單的數(shù)學方程給出的，但是方程中的 “運動部分” 極少。多年來，天文學一直是發(fā)展統(tǒng)計技術(shù)的靈感來源。高斯和勒讓德分別獨立地在 1800 年左右發(fā)明了最小二乘回歸，以預測小行星和其他天體的軌道。1847 年，柯西發(fā)明了梯度下降法，這也是由天文預測推動的。

在物理學中，有時學者們可以掌握全部細節(jié)，從而找到 “正確” 的理論，把預測準確性做到最優(yōu)，并且對數(shù)據(jù)做出最好的解釋。這些都在奧卡姆剃刀之類的觀點范疇內(nèi)，可以認為是假設簡單性、預測能力和解釋性都相互和諧一致的。

然而，在許多其它領(lǐng)域，解釋和預測這兩個目標之間的關(guān)系卻沒有那么和諧。如果只想預測觀察結(jié)果，通過 “黑盒” 可能是最好的。另一方面，如果想獲得解釋性的信息，如因果模型、通用原則或重要特征，那么可以理解和解釋的模型可能越簡單越好。

模型的正確選擇與否取決于其用途。例如，考慮一個包含許多個體的遺傳表達和表型（例如某些疾?。┑臄?shù)據(jù)集，如果目標是預測一個人生病的幾率，那么無論它有多復雜或依賴于多少個基因，都要使用適配該任務的最佳預測模型。相反，如果目的是識別一些基因，以便進行進一步研究，那么一個復雜的非常精確的 “黑盒” 的用處是有限的。

統(tǒng)計學家 Leo Breiman 在 2001 年關(guān)于統(tǒng)計建模的兩種文化的著名文章中闡述了這一點。第一種是“數(shù)據(jù)建模文化”，側(cè)重于能解釋數(shù)據(jù)的簡單生成模型。第二種是“算法建模文化”，對數(shù)據(jù)的生成方式不可知，側(cè)重于尋找能夠預測數(shù)據(jù)的模型，無論其多么復雜。

文章鏈接：https://projecteuclid.org/journals/statistical-science/volume-16/issue-3/Statistical-Modeling--The-Two-Cultures-with-comments-and-a/10.1214/ss/1009213726.full

Breiman 認為，統(tǒng)計學過于受第一種文化的支配，這種關(guān)注造成兩種問題：

• 導致了不相關(guān)的理論和可疑的科學結(jié)論。

• 阻止了統(tǒng)計學家研究令人興奮的新問題。

Breiman 的論文一出，就引起了一些爭議。同為統(tǒng)計學家的 Brad Efron 回應說，雖然他同意一些觀點，但他也強調(diào)，Breiman 的論點似乎是反對節(jié)儉和科學見解，支持花大力氣制造復雜的“黑盒”。但在最近的一篇文章中，Efron 摒棄了之前的觀點，承認 Breima 更有先見之明，因為“21 世紀統(tǒng)計學的焦點都聚焦在預測算法上，在很大程度上沿著 Breiman 提出的路線演進”。