一、線性代數(shù)

萬(wàn)事萬(wàn)物都可以被抽象成某些特征的組合，線性代數(shù)的本質(zhì)是將具體事物抽象為數(shù)學(xué)對(duì)象，描述其靜態(tài)和動(dòng)態(tài)的特征。

常見(jiàn)概念

標(biāo)量（scalar）

一個(gè)標(biāo)量 a 可以是整數(shù)、實(shí)數(shù)或復(fù)數(shù)

向量（vector）

多個(gè)標(biāo)量 a1,a2,?,an 按一定順序組成一個(gè)序列。通常用一維數(shù)組表示，例如語(yǔ)音信號(hào)

矩陣（matrix）

矩陣包含向量，一個(gè)m*n的矩陣,可以看成是由n個(gè)m維的列向量構(gòu)成,也可以看成是由m個(gè)n維的行向量構(gòu)成。通過(guò)用二維數(shù)組表示，例如灰度圖像

張量（tensor）

張量就是高階的矩陣，如果把三階魔方的每一個(gè)小方塊看作一個(gè)數(shù)，它就是個(gè) 3×3×3 的張量，3×3 的矩陣則恰是這個(gè)魔方的一個(gè)面，也就是張量的一個(gè)切片。通過(guò)用三維乃至更高維度的數(shù)組表示，例如RGB圖像

范數(shù)（norm）

對(duì)單個(gè)向量大小的度量，描述的是向量自身的性質(zhì)，將向量映射為一個(gè)非負(fù)的數(shù)值。

內(nèi)積（inner product）

兩個(gè)向量之間的相對(duì)位置，即向量之間的夾角。計(jì)算的則是兩個(gè)向量之間的關(guān)系

線性空間（linear space）

一個(gè)集合，元素是具有相同維數(shù)的向量（可以是有限個(gè)或無(wú)限個(gè)）， 并且定義了加法和數(shù)乘等結(jié)構(gòu)化的運(yùn)算

內(nèi)積空間（inner product space）

定義了內(nèi)積運(yùn)算的線性空間

正交基（orthogonal basis）

在內(nèi)積空間中，一組兩兩正交的向量。正交基的作用就是給內(nèi)積空間定義出經(jīng)緯度。?旦描述內(nèi)積空間的正交基確定了，向量和點(diǎn)之間的對(duì)應(yīng)關(guān)系也就隨之確定。

標(biāo)準(zhǔn)正交基（orthonormal basis）

正交基中基向量的范數(shù)單位長(zhǎng)度都是1

線性變換（linear mapping）

線性變換描述了向量或者作為參考系的坐標(biāo)系的變化，可以用矩陣表示；
線性空間中，變化的實(shí)現(xiàn)有兩種方式:

• 點(diǎn)的變化
  Ax=y
  表示向量 x 經(jīng)過(guò)矩陣 A 所描述的變換，變成了向量 y
• 參考系的變化
  描述矩陣的?對(duì)重要參數(shù)是特征值λ和特征向量x。
  對(duì)于給定的矩陣 A，假設(shè)其特征值為λ，特征向量為 x，則它們之間的關(guān)系如下：
  Ax=λx
  矩陣的特征和特征向量描述了變化速度與方向。
  把矩陣所代表的變化看作奔跑的人，那么特征值λ代表奔跑的速度，特征向量x代表奔跑的方向。

更通俗的理解是：在空間里將一個(gè)物體拉伸、旋轉(zhuǎn)到另外的一個(gè)形狀

二、概率論

同線性代數(shù)一樣，概率論也代表一種看待世界的方式，關(guān)注的焦點(diǎn)是生活中的不確定性和可能性。
概率論是線性代數(shù)之外，人工智能的另一個(gè)理論基礎(chǔ)，多數(shù)機(jī)器學(xué)習(xí)模型采用的都是基于概率論的方法。
由于實(shí)際任務(wù)中可供使用的訓(xùn)練數(shù)據(jù)有限，因而需要對(duì)概率分布的參數(shù)進(jìn)行估計(jì)，這也是機(jī)器學(xué)習(xí)的核心任務(wù)。

兩大學(xué)派

頻率學(xué)派（Frequentists）

頻率派認(rèn)為參數(shù)是客觀存在，不會(huì)改變，雖然未知，但卻是固定值。只是觀察者的我們無(wú)從知曉，因此在計(jì)算具體事件的概率時(shí)，要先確定分布的類(lèi)型和參數(shù)，以此為基礎(chǔ)進(jìn)行概率推演

貝葉斯學(xué)派（Bayesians）

貝葉斯派則認(rèn)為參數(shù)是隨機(jī)值，固定的先驗(yàn)分布是不存在的。假設(shè)本身取決于觀察結(jié)果，數(shù)據(jù)的作用就是對(duì)假設(shè)做出不斷修正，使觀察者對(duì)概率的主觀認(rèn)識(shí)更加接近客觀實(shí)際。

頻率派最常關(guān)心的是似然函數(shù)，而貝葉斯派最常關(guān)心的是后驗(yàn)分布。

兩種概率估計(jì)方法

極大似然估計(jì)法（maximum likelihood estimation）

思想是使訓(xùn)練數(shù)據(jù)出現(xiàn)的概率最大化，依此確定概率分布中的未知參數(shù)，估計(jì)出的概率分布也就符合訓(xùn)練訓(xùn)練數(shù)據(jù)的分布。
極大似然估計(jì)中，似然函數(shù)被定義為樣本觀測(cè)值出現(xiàn)的概率，確定未知參數(shù)的準(zhǔn)則是讓似然函數(shù)最大化，也就是微積分中求解函數(shù)最大值的問(wèn)題。
最大似然估計(jì)法估計(jì)參數(shù)時(shí)，只需要使用訓(xùn)練數(shù)據(jù)

最大后驗(yàn)概率法（maximum a posteriori estimation）

思想是根據(jù)訓(xùn)練數(shù)據(jù)和已知的其他條件，使未知參數(shù)出現(xiàn)的可能性最大化，并選取最可能的未知參數(shù)取值作為估計(jì)值。
最大后驗(yàn)概率法估計(jì)參數(shù)時(shí)，除了訓(xùn)練數(shù)據(jù)外，還需要額外的信息，也就是貝葉斯中的先驗(yàn)概率

舉例說(shuō)明

好學(xué)生和差學(xué)生打架

1. 極大似然估計(jì)：老師認(rèn)為肯定是差學(xué)生的錯(cuò)，因?yàn)椴顚W(xué)生愛(ài)惹事
2. 最大后驗(yàn)概率：老師如果知道優(yōu)等生和差學(xué)生之間的過(guò)節(jié)（先驗(yàn)信息），把這些因素考慮進(jìn)來(lái)，就不會(huì)簡(jiǎn)單地認(rèn)為是養(yǎng)生挑釁。

極大似然是尋找一組參數(shù)使得觀測(cè)數(shù)據(jù)出現(xiàn)的概率最大，最大后驗(yàn)是尋找當(dāng)前觀測(cè)數(shù)據(jù)下出現(xiàn)概率最大的一組參數(shù)。

兩種隨機(jī)變量

離散型隨機(jī)變量（discrete random variable）

在一定區(qū)間內(nèi)取值有有限個(gè)或者可數(shù)個(gè)，例如某些地區(qū)人口的出生數(shù)

連續(xù)型隨機(jī)變量（continuous random variable）

在一定區(qū)間內(nèi)變量取值有無(wú)限個(gè)，數(shù)值無(wú)法一一列舉出來(lái)，例如某些地區(qū)的房?jī)r(jià)