回過頭來，再說說另一個(gè)大家族——代數(shù)。

如果說古典微積分是分析的入門，那么現(xiàn)代代數(shù)的入門點(diǎn)則是兩個(gè)部分：線性代數(shù)(linear algebra)和基礎(chǔ)的抽象代數(shù)(abstract algebra)——據(jù)說國內(nèi)一些教材稱之為近世代數(shù)。代數(shù)——名稱上研究的似乎是數(shù)，在我看來，主要研究的是運(yùn)算規(guī)則。一門代數(shù)，其實(shí)都是從某種具體的運(yùn)算體系中抽象出一些基本規(guī)則，建立一個(gè)公理體系，然后在這基礎(chǔ)上進(jìn)行研究。一個(gè)集合再加上一套運(yùn)算規(guī)則，就構(gòu)成一個(gè)代數(shù)結(jié)構(gòu)。在主要的代數(shù)結(jié)構(gòu)中，最簡單的是群(Group)——它只有一種符合結(jié)合率的可逆運(yùn)算，通常叫“乘法”。如果，這種運(yùn)算也符合交換率，那么就叫阿貝爾群 (Abelian Group)。如果有兩種運(yùn)算，一種叫加法，滿足交換率和結(jié)合率，一種叫乘法，滿足結(jié)合率，它們之間滿足分配率，這種豐富一點(diǎn)的結(jié)構(gòu)叫做環(huán)(Ring)，如果環(huán)上的乘法滿足交換率，就叫可交換環(huán)(Commutative Ring)。如果，一個(gè)環(huán)的加法和乘法具有了所有的良好性質(zhì)，那么就成為一個(gè)域(Field)。基于域，我們可以建立一種新的結(jié)構(gòu)，能進(jìn)行加法和數(shù)乘，就構(gòu)成了線性代數(shù)(Linear algebra)。

代數(shù)的好處在于，它只關(guān)心運(yùn)算規(guī)則的演繹，而不管參與運(yùn)算的對(duì)象。只要定義恰當(dāng)，完全可以讓一只貓乘一只狗得到一頭豬:-)。基于抽象運(yùn)算規(guī)則得到的所有定理完全可以運(yùn)用于上面說的貓狗乘法。當(dāng)然，在實(shí)際運(yùn)用中，我們還是希望用它 干點(diǎn)有意義的事情。學(xué)過抽象代數(shù)的都知道，基于幾條最簡單的規(guī)則，比如結(jié)合律，就能導(dǎo)出非常多的重要結(jié)論——這些結(jié)論可以應(yīng)用到一切滿足這些簡單規(guī)則的地 方——這是代數(shù)的威力所在，我們不再需要為每一個(gè)具體領(lǐng)域重新建立這么多的定理。

抽象代數(shù)有在一些基礎(chǔ)定理的基礎(chǔ)上，進(jìn)一步的研究往往分為兩個(gè)流派：研究有限的離散代數(shù)結(jié)構(gòu)（比如有限群和有限域），這部分內(nèi)容通常用于數(shù)論，編碼，和整數(shù)方程這些地方；另外一個(gè)流派是研究連續(xù)的代數(shù)結(jié)構(gòu)，通常和拓?fù)渑c分析聯(lián)系在 一起（比如拓?fù)淙?，李群）。我在學(xué)習(xí)中的focus主要是后者。

對(duì)于做Learning, vision, optimization或者statistics的人來說，接觸最多的莫過于線性代數(shù)——這也是我們?cè)诖髮W(xué)低年級(jí)就開始學(xué)習(xí)的。線性代數(shù)，包括建立在它基礎(chǔ)上的各種學(xué)科，最核心的兩個(gè)概念是向量空間和線性變換。線性變換在線性代數(shù)中的地位，和連續(xù)函數(shù)在分析中的地位，或者同態(tài)映射在群論中的地位是一樣的 ——它是保持基礎(chǔ)運(yùn)算（加法和數(shù)乘）的映射。

在learning中有這樣的一種傾向——鄙視線性算法，標(biāo)榜非線性。也許在很多場合下面，我們需要非線性來描述復(fù)雜的現(xiàn)實(shí)世界，但是無論什么時(shí)候，線性都是具有根本地位的。沒有線性的基礎(chǔ)，就不可能存在所謂的非線性推廣。我們常用的非線性化的方法包括流形和kernelization，這兩者都需要在某個(gè)階段回歸線性。流形需要在每個(gè)局部建立和線性空間的映射，通過把許多局部線性空間連接起來形成非線性；而kernerlization則是通過置換內(nèi)積結(jié)構(gòu)把原線性空間“非線性”地映射到另外一個(gè)線性空間，再進(jìn)行線性空間中所能進(jìn)行的操作。而在分析領(lǐng)域，線性的運(yùn)算更是無處不在，微分，積分，傅立葉變換，拉普拉斯變換，還有統(tǒng)計(jì)中的均值，通通都是線性的。

在大學(xué)中學(xué)習(xí)的線性代數(shù)，它的簡單主要因?yàn)樗窃谟邢蘧S空間進(jìn)行的，因?yàn)橛邢?，我們無須借助于太多的分析手段。但是，有限維空間并不能有效地表達(dá)我們的世界——最重要的，函數(shù)構(gòu)成了線性空間，可是它是無限維的。對(duì)函數(shù)進(jìn)行的最重要的運(yùn)算都在無限維空間進(jìn)行，比如傅立葉變換和小波分析。這表明了，為了研究函數(shù)（或者說連續(xù)信號(hào)），我們需要打破有限維空間的束縛，走入無限維的函數(shù)空間——這里面的第一步，就是泛函分析。

泛函分析(Functional Analysis)是研究的是一般的線性空間，包括有限維和無限維，但是很多東西在有限維下顯得很trivial，真正的困難往往在無限維的時(shí)候出現(xiàn)。在泛函分析中，空間中的元素還是叫向量，但是線性變換通常會(huì)叫作“算子”(operator)。除了加法和數(shù)乘，這里進(jìn)一步加入了一些運(yùn)算，比如加入范數(shù)去表達(dá)“向量的長度”或者“元素的距離”，這樣的空間叫做“賦范線性空間”(normed space)，再進(jìn)一步的，可以加入內(nèi)積運(yùn)算，這樣的空間叫“內(nèi)積空間”(Inner product space)。

大家發(fā)現(xiàn)，當(dāng)進(jìn)入無限維的時(shí)間時(shí)，很多老的觀念不再適用了，一切都需要重新審視。

• 所有的有限維空間都是完備的（柯西序列收斂），很多無限維空間卻是不完備的（比如閉區(qū)間上的連續(xù)函數(shù)）。在這里，完備的空間有特殊的名稱：完備的賦范空間叫巴拿赫空間(Banach space)，完備的內(nèi)積空間叫希爾伯特空間(Hilbert space)。

• 在有限維空間中空間和它的對(duì)偶空間的是完全同構(gòu)的，而在無限維空間中，它們存在微妙的差別。

• 在有限維空間中，所有線性變換（矩陣）都是有界變換，而在無限維，很多算子是無界的(unbounded)，最重要的一個(gè)例子是給函數(shù)求導(dǎo)。

• 在有限維空間中，一切有界閉集都是緊的，比如單位球。而在所有的無限維空間中，單位球都不是緊的——也就是說，可以在單位球內(nèi)撒入無限個(gè)點(diǎn)，而不出現(xiàn)一個(gè)極限點(diǎn)。

• 在有限維空間中，線性變換（矩陣）的譜相當(dāng)于全部的特征值，在無限維空間中，算子的譜的結(jié)構(gòu)比這個(gè)復(fù)雜得多，除了特征值組成的點(diǎn)譜(point spectrum)，還有approximate point spectrum和residual spectrum。雖然復(fù)雜，但是，也更為有趣。由此形成了一個(gè)相當(dāng)豐富的分支——算子譜論(Spectrum theory)。

• 在有限維空間中，任何一點(diǎn)對(duì)任何一個(gè)子空間總存在投影，而在無限維空間中， 這就不一定了，具有這種良好特性的子空間有個(gè)專門的名稱切比雪夫空間(Chebyshev space)。這個(gè)概念是現(xiàn)代逼近理論的基礎(chǔ)(approximation theory)。函數(shù)空間的逼近理論在Learning中應(yīng)該有著非常重要的作用，但是現(xiàn)在看到的運(yùn)用現(xiàn)代逼近理論的文章并不多。

基本的泛函分析繼續(xù)往前走，有兩個(gè)重要的方向。第一個(gè)是巴拿赫代數(shù) (Banach Algebra)，它就是在巴拿赫空間（完備的內(nèi)積空間）的基礎(chǔ)上引入乘法（這不同于數(shù)乘）。比如矩陣——它除了加法和數(shù)乘，還能做乘法——這就構(gòu)成了一 個(gè)巴拿赫代數(shù)。除此以外，值域完備的有界算子，平方可積函數(shù)，都能構(gòu)成巴拿赫代數(shù)。巴拿赫代數(shù)是泛函分析的抽象，很多對(duì)于有界算子導(dǎo)出的結(jié)論，還有算子譜 論中的許多定理，它們不僅僅對(duì)算子適用，它們其實(shí)可以從一般的巴拿赫代數(shù)中得到，并且應(yīng)用在算子以外的地方。巴拿赫代數(shù)讓你站在更高的高度看待泛函分析中 的結(jié)論，但是，我對(duì)它在實(shí)際問題中能比泛函分析能多帶來什么東西還有待思考。

最能把泛函分析和實(shí)際問題在一起的另一個(gè)重要方向是調(diào)和分析 (Harmonic Analysis)。我在這里列舉它的兩個(gè)個(gè)子領(lǐng)域，傅立葉分析和小波分析，我想這已經(jīng)能說明它的實(shí)際價(jià)值。它研究的最核心的問題就是怎么用基函數(shù)去逼近和構(gòu)造一個(gè)函數(shù)。它研究的是函數(shù)空間的問題，不可避免的必須以泛函分析為基礎(chǔ)。除了傅立葉和小波，調(diào)和分析還研究一些很有用的函數(shù)空間，比如Hardy space，Sobolev space，這些空間有很多很好的性質(zhì)，在工程中和物理學(xué)中都有很重要的應(yīng)用。對(duì)于vision來說，調(diào)和分析在信號(hào)的表達(dá)，圖像的構(gòu)造，都是非常有用的工具。

當(dāng)分析和線性代數(shù)走在一起，產(chǎn)生了泛函分析和調(diào)和分析；當(dāng)分析和群論走在一起，我們就有了李群(Lie Group)和李代數(shù)(Lie Algebra)。它們給連續(xù)群上的元素賦予了代數(shù)結(jié)構(gòu)。我一直認(rèn)為這是一門非常漂亮的數(shù)學(xué)：在一個(gè)體系中，拓?fù)?，微分和代?shù)走到了一起。在一定條件下，通過李群和李代數(shù)的聯(lián)系，它讓幾何變換的結(jié)合變成了線性運(yùn)算，讓子群化為線性子空間，這樣就為Learning中許多重要的模型和算法的引入到對(duì)幾何運(yùn)動(dòng)的建模創(chuàng)造了必要的條件。因此，我們相信李群和李代數(shù)對(duì)于vision有著重要意義，只不過學(xué)習(xí)它的道路可能會(huì)很艱辛，在它之前需要學(xué)習(xí)很多別的數(shù)學(xué)。

最后，再簡單說說很多Learning的研究者特別關(guān)心的數(shù)學(xué)分支：概率論。自從Kolmogorov在上世紀(jì)30年代把測度引入概率論以來，測度理論就成為現(xiàn)代概率論的基礎(chǔ)。在這里，概率定義為測度，隨機(jī)變量定義為可測函數(shù)，條件隨機(jī)變量定義為可測函數(shù)在某個(gè)函數(shù)空間的投影，均值則是可測函數(shù)對(duì)于概率測度的積分。值得注意的是，很多的現(xiàn)代觀點(diǎn)，開始以泛函分析的思路看待概率論的基礎(chǔ)概念，隨機(jī)變量構(gòu)成了一個(gè)向量空間，而帶符號(hào)概率測度則構(gòu)成了它的對(duì)偶空間，其中一方施加于對(duì)方就形成均值。角度雖然不一樣，不過這兩種方式殊途同歸，形成的基礎(chǔ)是等價(jià)的。

在現(xiàn)代概率論的基礎(chǔ)上，許多傳統(tǒng)的分支得到了極大豐富，最有代表性的包括鞅論 (Martingale)——由研究賭博引發(fā)的理論，現(xiàn)在主要用于金融（這里可以看出賭博和金融的理論聯(lián)系，:-P），布朗運(yùn)動(dòng)(Brownian Motion)——連續(xù)隨機(jī)過程的基礎(chǔ)，以及在此基礎(chǔ)上建立的隨機(jī)分析(Stochastic Calculus)，包括隨機(jī)積分（對(duì)隨機(jī)過程的路徑進(jìn)行積分，其中比較有代表性的叫伊藤積分(Ito Integral)），和隨機(jī)微分方程。對(duì)于連續(xù)幾何運(yùn)用建立概率模型以及對(duì)分布的變換的研究離不開這些方面的知識(shí)。