圖源：ww2.kqed.org

在2016年《Nature》封面文章《Semantic information in natural narrative speech is represented in complex maps that tile human cerebral cortex》中，加州大學(xué)伯克利分校格蘭特實(shí)驗(yàn)室神經(jīng)科學(xué)家們成功繪制出985個(gè)英語常用詞匯的語義腦圖。

他們創(chuàng)造了一種交互式建模腦圖制作方案，可以預(yù)測不同類別的詞匯可以激活大腦的哪些部分。最新的腦圖聚焦于當(dāng)人們閱讀故事時(shí)，大腦活動(dòng)的變化，仿佛一種神奇的“讀心術(shù)”。

2019年8月19日，該實(shí)驗(yàn)室的神經(jīng)科學(xué)家們?cè)凇禞ournal of Neuroscience》上再次發(fā)文《The Representation of Semantic Information Across Human Cerebral Cortex During Listening Versus Reading Is Invariant to Stimulus Modality》，通過幾張腦圖對(duì)本文開頭的問題給出了答案。

Rubin等人在2000年就發(fā)現(xiàn)盡管視覺與聽覺語言在處理路徑的早期完全不同，但是讀者和聽者可以從同一個(gè)敘事故事中提取相近的信息，這表明人類大腦具有獨(dú)立于輸入體系之外的語義表達(dá)表征途徑。

以前的神經(jīng)影像學(xué)研究表明語義信息在大腦廣泛的多個(gè)區(qū)域有表達(dá)，但是前人的研究主要關(guān)注于各種類型的語義信息表征在細(xì)節(jié)上是否存在共享，而非從整體廣泛的角度分析。

證明這個(gè)問題最直接和有說服力的辦法就是對(duì)同一個(gè)受試者在讀和聽同一篇故事時(shí)的腦圖進(jìn)行記錄和對(duì)比。隨著科技的發(fā)展，逐漸出現(xiàn)可以支持這一做法的技術(shù)。

該研究中六名男性志愿者和三名女性志愿者每個(gè)人都在功能性核磁共振掃描儀里呆了數(shù)個(gè)小時(shí)，其中兩名志愿者也是這篇文章的作者之一，先聽后讀同樣的The Moth Radio Hour系列廣播的故事。

閱讀場景中，故事以快速序列視覺呈現(xiàn)任務(wù)(rapid serial visual presentation task, RSVP )方式出現(xiàn)在志愿者眼前，與聽覺場景中的故事出現(xiàn)速度保持精確地一致。

研究人員測量他們的腦血流量，通過體素編碼進(jìn)行3D交互式建模（voxelwise modeling，VM）。在這兩種情況下，他們的大腦活動(dòng)數(shù)據(jù)與故事的時(shí)間編碼轉(zhuǎn)錄數(shù)據(jù)相匹配，其結(jié)果被輸入計(jì)算機(jī)程序，該程序根據(jù)單詞之間的關(guān)系對(duì)單詞進(jìn)行評(píng)分。

利用統(tǒng)計(jì)建模，研究人員根據(jù)語義關(guān)系在地圖上排列成千上萬個(gè)單詞。例如，在動(dòng)物類別下，可以找到“熊”、“貓”和“魚”這些詞。這些地圖覆蓋了至少三分之一的大腦皮層，使研究人員能夠準(zhǔn)確預(yù)測哪些單詞會(huì)激活大腦的哪些部分。

最終在一個(gè)交互式的三維彩色編碼地圖上可以看到，按視覺、觸覺、數(shù)字、位置、暴力、心理、情感和社交等類別分組的單詞就像扁平皮質(zhì)上活躍的蝴蝶一樣呈現(xiàn)出來。大腦皮層是大腦灰質(zhì)的盤繞表層，協(xié)調(diào)感覺和運(yùn)動(dòng)信息。

受試者聽了流行的The Moth Radio Hour系列廣播中的故事，然后再讀同樣的故事。利用功能磁共振成像掃描，研究人員在聽和讀的條件下掃描他們的大腦，比較他們兩種狀態(tài)下大腦活動(dòng)數(shù)據(jù)，發(fā)現(xiàn)他們從兩個(gè)數(shù)據(jù)集創(chuàng)建的語義地圖實(shí)際上是相近的。用聽或者讀中某一種模式的腦圖幾乎可以準(zhǔn)確預(yù)測出另一種模式下的腦圖。

實(shí)驗(yàn)的結(jié)果讓Deniz博士大吃一驚，他預(yù)計(jì)讀者和聽者處理語義信息的方式會(huì)有一些差別。但是他說道：“我沒有想到在這兩種感覺模式下，在大腦的大網(wǎng)絡(luò)中的語義表達(dá)會(huì)有如此強(qiáng)的相似性?！?/span>

這項(xiàng)研究進(jìn)一步證明不同的人有著相似的語義或詞義腦圖，為理解人們的內(nèi)心思想和敘事模式打開了新的思路。此外，倘若能夠制出完整可靠的腦圖，并轉(zhuǎn)化應(yīng)用，這項(xiàng)研究從失讀癥到失語癥對(duì)具有學(xué)習(xí)和言語障礙的患者都十分有意義，可以讓他們與外部世界更好地交流。

這項(xiàng)研究的主要負(fù)責(zé)人Fatma Deniz博士是加州大學(xué)伯克利分校格蘭特實(shí)驗(yàn)室神經(jīng)科學(xué)博士后研究員，也是伯克利數(shù)據(jù)科學(xué)研究所的前數(shù)據(jù)科學(xué)研究員，她認(rèn)為該研究表明，越來越多的人通過有聲讀物、廣播等音頻文件來獲取信息，無論他們是在聽還是在讀同樣的材料，他們都在以相似的方式處理語義信息。

令人激動(dòng)的是，這個(gè)交互式三維大腦瀏覽器計(jì)劃于本月上線。

至于臨床應(yīng)用，這些圖譜可以用來比較健康人和中風(fēng)、癲癇和腦損傷患者的語言處理能力。通過針對(duì)這些差異的處理，有助于患者恢復(fù)。

語義圖譜還可以為誦讀困難癥的干預(yù)提供信息，誦讀困難癥是一種廣泛的神經(jīng)發(fā)育性語言處理障礙，使得患者無法閱讀。如果將來我們能夠發(fā)現(xiàn)誦讀困難癥患者的大腦在聽有聲讀物或其他錄音時(shí)大腦也具有豐富的語義語言表達(dá)，那么在教室中提供更多的音頻材料對(duì)于這些患者大有裨益。 

聽覺處理障礙也是如此，在聽覺處理障礙中，人們無法區(qū)分組成單詞的聲音或音位。對(duì)照聽覺處理障礙患者的聽和讀時(shí)的語義地圖對(duì)于探究其疾病的病因和治療都非常有幫助。

Deniz計(jì)劃在接下來針對(duì)非英語人群和基于語言的學(xué)習(xí)障礙患者進(jìn)行大腦語義圖譜的采集實(shí)驗(yàn)，延伸這項(xiàng)研究的意義，為更多的治療方案的出現(xiàn)提供方向。

主要參考文獻(xiàn)：

The Representation of Semantic Information Across Human Cerebral Cortex During Listening Versus Reading Is Invariant to Stimulus Modality, Journal of Neuroscience (2019). DOI: 10.1523/JNEUROSCI.0675-19.2019