聽覺腦區也會處理眼睛所見到的語言訊息。

感覺聯盟

‧科學人 2013/04/11

人類感覺功能彼此合作的程度，遠超出我們所知：我們的聽覺十分依賴我們所見與所感。

【撰文／羅森布魯姆（Lawrence D. Rosenblum）；翻譯／謝伯讓】

重點提要

■ 神經科學家曾經以為大腦就像瑞士刀，不同的腦區只處理單一特定的感覺，如視覺、聽覺、嗅覺、味覺和觸覺。

■ 過去30年的心理學和神經科學研究已顯示，大腦是一個多感覺器官，經常在整合來自各種感覺的訊息。

■ 這場多感覺革命不只改變了科學家對大腦功能的了解，也指出了新的方法來幫助失聰和失明者，並改善了語音辨識軟體。

1970年代末，美國聯邦調查局雇用了托馬斯（Sue Thomas）及其他八位失聰人士分析指紋。該組織認為，失聰人士可能比較能夠負責在這種精細的工作上。從第一天開始，托馬斯就覺得這個工作窮極無聊，她不斷向上司抱怨，當她和其他同事一起被老闆召見時，她已經做好離職的準備。

不過她並沒有被開除，實際上她升遷了。其他同事讓她觀看一部有兩名嫌疑犯在對話的無聲影片，要求她解讀對話內容。

托馬斯的同事在與她互動的過程中，發現她可以快速精準地讀唇語。正如他們所料，托馬斯輕易解讀了嫌犯的對話，並發現他們與一個非法賭博集團有關。從此她成為聯邦調查局第一位失聰唇語專家。

托馬斯的技能來自長年依賴讀唇語的溝通習慣，我們其實也仰賴類似技巧。事實上，當看不到說話者的口唇時，我們理解語言的能力會下降，特別是在吵雜的環境中，或是說話者有濃重外地口音時。除了用耳朵外，學習用眼睛來感知語言也是典型語言發展的重要部份。因此，無法看見周遭說話者嘴形的眼盲嬰兒，通常會花較久的時間才能學會語言的某些面向。我們很自然會把所見到的唇形和聽見的字整合在一起。近來關於多感覺語言感知的研究已帶來革命性的成果，幫助我們理解大腦如何整合來自不同感覺的資訊。

神經科學家和心理學家已揚棄早期把大腦類比為瑞士刀的想法（各個特定的腦區只負責特定的感覺）。現在認為大腦在演化過程中趨向大量跨感覺的聯結。換言之，大腦中各個感覺區域彼此是互相連接的。

我們的感覺總是彼此窺視、相互幫忙。例如視覺皮質雖然主要在處理視覺，但也有解讀其他感覺訊息的能力。正常人在矇住眼睛90分鐘後，視覺皮質就會幫忙使得觸覺更加敏感。同樣的，腦部造影實驗也顯示盲人的視覺皮質會重組為聽覺所用。當我們吃洋芋片時，酥脆的咀嚼聲會決定我們對洋芋片的口味評價，而研究人員可透過操弄你聽到的聲音來改變你的評價。我們看的角度、站的位置，以及看到的東西，也都會影響我們的身體姿勢。簡言之，過去15年的腦科學研究顯示：感覺並非單獨運作。多感覺的革命性發現在現實生活與科技應用層次上也有貢獻：研究上的發現促進了新的助聽與輔助裝置發展，例如植入式人工電子耳。

無聲的音節

一項最早為人所知的多感覺感知實徵是由麥格克（Harry McGurk）和麥當勞（John McDonald）在1976年所發現的麥格克效應（McGurk Effect）。當你觀看某人「ga」的無聲嘴形並同時聽到「ba」的語音時，你會聽到「da」。來自視覺的無聲「ga」音節會改變你對「ba」的聽覺，因為大腦會把聽到和見到的資訊整合在一起。25年來的研究發現，不論人們說的是哪種語言，都可體驗到麥格克效應。

觸覺也會影響聽到的話。1991年美國達特茅斯學院的法洛爾（Carol Fowler）及同事要受試者嘗試一種叫做「塔讀碼」的技巧：透過手指觸摸說話者的嘴唇、臉頰和脖子來辨讀話語內容。在植入式人工電子耳發明前，很多聾盲人士（包括海倫凱勒）都是仰賴這個技巧。結果發現，受試者感觸到的音節會改變他們聽到的音節。

1997年，時任英國牛津大學的凱維特（Gemma Calvert）檢視辨讀唇語時活化的腦區，結果發現：之前沒有任何讀唇語經驗的受試者在辨讀無聲朗讀者讀一到九數字的臉部動作時，聽覺皮質有反應。這是第一個顯示跨知覺反應可以出現在原本以為是特化處理單一感覺腦區的研究。之後新的研究發現更進一步的知覺整合證據，例如，科學家現在知道，聽覺腦區也會處理眼睛所見到的語言訊息。以前他們認為此區域只會處理較基礎的聲音。神經造影研究也顯示：麥格克效應發生時（把「ba」聽成「da」時），腦部的反應宛如外在刺激真的是「da」一樣。

參閱http://mag.udn.com/mag/newsstand/storypage.jsp?f_MAIN_ID=77&f_SUB_ID=234&f_ART_ID=448399

    【完整內容請見《科學人》2013年第134期4月號】