首先，我們從一個很有意思的實驗講起，這個實驗將老鼠大腦里的聽覺皮層接到視覺的輸入上，經(jīng)過一段時間訓(xùn)練后，發(fā)現(xiàn)聽覺皮層也能實現(xiàn)視覺的感知任務(wù)。這個實驗引起我們思考一個問題，機器智能是否同樣能實現(xiàn)結(jié)構(gòu)和學(xué)習(xí)的通用性呢？

目前的機器學(xué)習(xí)范式基本是統(tǒng)一的，一般遵循收集數(shù)據(jù)、進行標注、定義網(wǎng)絡(luò)結(jié)構(gòu)、以及利用方向傳播算法訓(xùn)練網(wǎng)絡(luò)權(quán)值的過程，但是不同任務(wù)里用到的基本模型卻是多樣的。當(dāng)前計算機視覺主要被卷積網(wǎng)絡(luò)所主導(dǎo)，而自然語言處理則經(jīng)歷了LSTM、GRU、卷積以及自注意等多種模型階段。那是否有一種基本模型，能解決視覺、NLP、圖結(jié)構(gòu)數(shù)據(jù)感知、甚至推理等不同智能任務(wù)呢？

目前來看，關(guān)系網(wǎng)絡(luò)是最接近這一目標的一種模型。在解釋這個模型之前，我們首先對一些名詞作一些澄清，包括圖神經(jīng)網(wǎng)絡(luò)以及自注意力機制。

圖1：關(guān)系網(wǎng)絡(luò)架構(gòu)

圖神經(jīng)網(wǎng)絡(luò)概念上更通用一些，包括了對節(jié)點、對邊、對全局屬性的特征表示，而自注意模型則是圖神經(jīng)網(wǎng)絡(luò)的一種特殊實現(xiàn)，里面只對節(jié)點進行了特征表示，而邊（也就是關(guān)系）則通過key嵌入和query嵌入后的內(nèi)積計算得到，是一種圖為全連接時（所有節(jié)點之間都有連接）非常經(jīng)濟的模型，但表達能力又足夠強，因為任何事物和概念之間都可以通過不同的投影后（key和query）的特征來使得兩者可比。

注意力機制里key和query的集合往往不一致，例如分別是單詞集合和圖像塊集合，或者分別是不同語言的句子，而自注意力機制則是key和query的對象為同一集合的情況。最近在NLP領(lǐng)域的革命，主要在于發(fā)現(xiàn)了“自”注意力機制在編碼同一句子單詞與單詞之間關(guān)系上的價值。而關(guān)系網(wǎng)絡(luò)和圖神經(jīng)網(wǎng)絡(luò)還有自注意力機制從實現(xiàn)上是同樣的，字面上更關(guān)注對于節(jié)點與節(jié)點間聯(lián)系的建模。

考慮到關(guān)系網(wǎng)絡(luò)在圖結(jié)構(gòu)數(shù)據(jù)和NLP序列數(shù)據(jù)建模上取得了巨大成功，很自然的一個問題是這一建模方法是否也適用于視覺里的建模。計算機視覺里面主要涉及兩個層次的基本元素：一個是物體；一個是像素。于是我們研究了物體和物體、物體和像素以及像素和像素的關(guān)系建模問題。

圖2：將關(guān)系網(wǎng)絡(luò)應(yīng)用于基本視覺建模

物體與物體關(guān)系建模，第一個完全端到端的物體檢測器

物體是很多視覺感知任務(wù)的核心，在深度學(xué)習(xí)時代，單個物體的感知有了很好的進展，但如何去建模物體與物體間的關(guān)系卻一直沒有很好的工具。我們在去年CVPR上提出了一個能即插即用的物體關(guān)系模塊（Object Relation Module），簡稱ORM。物體關(guān)系模塊的建模基本上是一種自注意力機制的應(yīng)用，和基本的自注意力機制的主要不同在于添加了相對幾何項，我們發(fā)現(xiàn)這一項對于視覺問題來說很重要，物體之間的相對位置關(guān)系能幫助對于物體本身的感知。這一模塊可以很方便地嵌入到現(xiàn)有的物體檢測框架（圖3所示是目前應(yīng)用最廣泛的Faster R-CNN算法），去改進頭部（head）網(wǎng)絡(luò)，以及替換手工的去重模塊，也就是目前通常采用的非極大化抑制方法（NMS）。其中替換前者使得物體不是獨立識別的，而是一起識別的，而替換后者則幫助實現(xiàn)了第一個完全的端到端物體檢測系統(tǒng)。我們還將物體關(guān)系模塊推廣到時空維度，去解決多目標跟蹤問題。

圖3：第一個完全端到端的物體檢測器

物體與像素關(guān)系建模

物體與像素關(guān)系建模的一個最直接的應(yīng)用是從圖像特征里提取物體區(qū)域特征，此前最常用的算法是RoIPooling或者RoIAlign，我們用關(guān)系網(wǎng)絡(luò)實現(xiàn)了自適應(yīng)地從圖像特征里提取區(qū)域特征的方法，并證明這一方法比RoIAlign在物體檢測的標準數(shù)據(jù)集COCO上要好1 mAP左右。

像素與像素關(guān)系建模，替代卷積的局部關(guān)系網(wǎng)絡(luò)及全局上下文網(wǎng)絡(luò)

像素與像素關(guān)系的建?？梢杂脕韺崿F(xiàn)最基本的圖像局部特征提取，也可以用來提取圖像的全局信息，從而作為基本圖像特征提取網(wǎng)絡(luò)（例如卷積神經(jīng)網(wǎng)絡(luò)）的補充。

1）替代卷積神經(jīng)網(wǎng)絡(luò)的局部關(guān)系網(wǎng)絡(luò)

現(xiàn)在的基本圖像特征提取方法幾乎都采用卷積算子，但卷積本質(zhì)上是一個模板匹配（template matching）算子，效率是偏低的，例如圖4中的三個鳥頭，很簡單的變化，卻需要三個通道來去建模它。我們提出了一個局部關(guān)系層（local relation layer）來實現(xiàn)更高效的圖像特征提取，它本質(zhì)上還是基于關(guān)系網(wǎng)絡(luò)。在應(yīng)用到基本的像素與像素關(guān)系建模問題時，我們發(fā)現(xiàn)如下幾個細節(jié)很重要：一是關(guān)系的建模要限制在局部內(nèi)，只有限制在局部才能構(gòu)造信息瓶頸，才能把圖像里的模式學(xué)出來；二是需要引入可學(xué)習(xí)的幾何先驗項，這一項的引入也是注意到目前最流行的卷積算子所采用的模板匹配過程就是嚴重依賴相對位置關(guān)系的建模方法；三是采用標量的key和query，在標準的關(guān)系網(wǎng)絡(luò)中，key和query通常是用向量表示的，采用標量的key和query能節(jié)省很多參數(shù)和計算，也因此能在有限計算量情況下建模多種關(guān)系。

與卷積相比，局部關(guān)系層概念上最大的不同是它是在根據(jù)兩個像素自己的特征來計算像素間的可組合性，而不是用一個全局的模板來作匹配。圖4右上還顯示了學(xué)到的部分key和query圖（標量），從左到右分別是由淺到深的層，發(fā)現(xiàn)淺層學(xué)到了邊緣和內(nèi)部的概念，深層學(xué)到了不同物體的概念。圖4右下顯示了學(xué)到的幾何先驗，從上到下分別是由淺到深的層，發(fā)現(xiàn)在淺層里幾何先驗比較集中和稀疏，暗示幾何先驗起很大作用，而深層里幾何先驗比較模糊，暗示key和query起更主要的作用。

圖4：局部關(guān)系層

局部關(guān)系層可以用來替換卷積網(wǎng)絡(luò)里面所有的空間卷積層，包括所有的3x3的卷積，以及一開始的7x7卷積，于是得到了一個完全沒有空間卷積層的網(wǎng)絡(luò)，我們稱為局部關(guān)系網(wǎng)絡(luò)（LR-Net），圖5左側(cè)是用局部關(guān)系層替代ResNet-50網(wǎng)絡(luò)中所有卷積層的例子，在相同計算量情況下，LR-Net相比于ResNet擁有更少的參數(shù)。圖5右側(cè)是26層LR-Net與26層帶標準卷積或depthwise卷積的ResNet在ImageNet分類上top-1準確率的比較。可以看出，在不包含任何幾何先驗的情況下，LR-Net已與ResNet相匹敵，而在添加幾何先驗項后，與標準卷積的ResNet-50相比能取得高2.7%的性能。此外，局部關(guān)系網(wǎng)絡(luò)在鄰域為7x7時表現(xiàn)最好，而對應(yīng)的標準ResNet網(wǎng)絡(luò)則在3x3和5x5時表現(xiàn)更好，這表明局部關(guān)系網(wǎng)絡(luò)相比普通基于卷積算子的ResNet網(wǎng)絡(luò)能建模更大范圍的像素關(guān)系。

圖5：局部關(guān)系層替代ResNet-50網(wǎng)絡(luò)中所有卷積層（左）；26層的LR-Net與ResNet相同運算量下在ImageNet分類上top-1準確率的對比（右）

2) 非局部網(wǎng)絡(luò)遇上SE-Net，更高效的全局上下文網(wǎng)絡(luò)

非局部關(guān)系網(wǎng)絡(luò)在多個視覺感知任務(wù)上取得了非常好的效果，學(xué)界通常認為這得益于非局部網(wǎng)絡(luò)對于遠距離像素與像素間關(guān)系的建模。但我們在可視化學(xué)到的像素與像素間相似度時發(fā)現(xiàn)一個很不一樣的現(xiàn)象，對于不同的query像素點（圖中紅色點），不管query像素點在前景、或是草地、或是天空中，它們和key像素的相似度形成的attention map幾乎一模一樣。

圖6：不同query像素點對應(yīng)的attention map

很自然地，如果我們顯示地讓所有query像素點共享同一個attention map，是否會降低performance呢？我們實驗發(fā)現(xiàn)在一些重要的感知任務(wù)，例如圖像分類、物體檢測、動作識別中，這一答案是否定的。也就是說，即使讓所有query像素點共享同一個attention map，也不會降低識別的精度，而相應(yīng)的計算則大幅降低，即使添加到ResNet網(wǎng)絡(luò)中所有的residual block后也不怎么增加網(wǎng)絡(luò)整體的計算量。

進一步可以發(fā)現(xiàn)這樣一種簡化的非局部網(wǎng)絡(luò)（SNL）和2017年ImageNet比賽的冠軍算法SE-Net結(jié)構(gòu)很相似，都是首先建模全局上下文信息，把HxW的圖像特征集合起來，生成一個全局的向量，第二步都是對這一全局的向量作特征變換，最后是變換后的全局特征和圖像每個位置原來的特征融合起來，于是可以抽象出來一個通用的建模全局上下文信息的框架。進一步的，在每一步里面選擇最好的實現(xiàn)，于是可以得到全局上下文模塊（Global Context Block），這一網(wǎng)絡(luò)可以在COCO物體檢測，ImageNet圖像分類，和動作識別任務(wù)中均取得比非局部網(wǎng)絡(luò)和SE-Net更優(yōu)的準確率，而計算量則保持基本不變或者低于非局部網(wǎng)絡(luò)和SE-Net。

圖7：通用的建模全局上下文信息的框架