【脑客中国·科研】吕柄江：人工神经网络和人脑中的语言表征与加工-深圳瀚翔脑科学技术股份有限公司

2024年3月20日晚20点，昌平实验室吕柄江研究员作为脑客中国科研第137位讲者为大家带来主题为《人工神经网络和人脑中的语言表征与加工》的报告。以下内容节选自直播视频：

大家好，我是吕柄江，今天很高兴在这里和大家分享我做的一点工作。我们知道语言作为人类特有的高级认知功能，是我们思考和交流最重要的工具。

我们通过使用语言，能够实现知识和信息穿越时空的延续、传递和积累。‘我们的大脑是如何理解语言的？’是认知神经科学领域持续关注的一个重要问题。

我们知道近年来，人工智能的大语言模型的飞速发展，给我们的生活带来了非常多的便利。与此同时，这些大语言模型也为我们研究大脑如何表征和加工语言提供了新的工具。今天在这里我就想跟大家分享我在这方面做的一些工作。

1、Structure dependence

今天的分享我想首先从一个采访开始。画面左边的是主持人，右边的这位长者叫做Noam Chomsky。他可以说是过去几十年甚至一个世纪以来最伟大的认知科学家和语言学家。他最著名的理论就是他提出的语言加工的结构化表征。他凭一己之力对语言学研究带来了革命性的推动及发展。

在这个采访里面，这个主持人问Chomsky：“你在研究语言，跟认知科学打交道一辈子的时间中，你觉得你研究语言，发现语言最重要或者是最深刻的一个特性是什么？ ”

Chomsky回答道：“我觉得语言最深刻的特性叫做structure dependence。”也就是结构依赖。他通过一句话“The guy who fixed the car carefully packed his tools”来进行解释。在这句话中，里面标黄的副词‘carefully’，修饰的是‘packed’这个词。两个词离得非常近，我们在整合句子意思时，会把两个词整合在一起，理解为“小心翼翼地打包”。

而如果我们把这个副词‘carefully’放到句子的最前面，就是‘Carefully the guy who fixed the car packed his tools’。即使在两个词离得很远的情况下，当我们逐字听到这句话时，首先听到了‘carefully’，一段时间后才听到‘packed’，但是我们大脑会不由自主地把‘carefully’和‘packed’结合在一起。

这其实是一个非常神奇的现象，尽管这两个词在我们的语音信号中离得很远，但是我们在大脑加工时，不知道为什么我们的大脑居然会把离得很远的两个词快速自动的合并在一起，从而形成一个可以理解的意思。

甚至当这句话它意义上是讲不通的。比如说他又举了一个例子，“Carefully the guy who fixed the car is tall，这里面我们还是尝试会把‘carefully’和‘is tall’合在一起。虽然我们知道‘carefully’和这个人‘is tall’是完全没有关系的。但是我们大脑会倾向于把‘carefully’这个副词和后面的‘is tall’结合在一起。

这是为什么呢？根据Chomsky的理论，这样的一句话我们可以根据句法进行展开。我们看第二句话，虽然‘carefully’和‘packed’之间隔了‘the gap fixed car’，但是如果我们把它展开作为一个语法树的话，我们就可以看到它是有层级结构的。在这里面我们可以看到‘carefully’和‘packed’这两个词它在结构上是相近的。

也就是说我们在听到这个句子时，我们大脑会自动的逐字构建这样一个结构，然后会根据这个结构对我们听到的内容进行理解，把该合并在一起的词合并在一起，从而理解说话人的意图。

这个现象或者说规律并不只是对英语成立的，对我们中文及所有语言都是成立的。比如说这句话，“他在实验室看了一整天的动画片”。我们在理解这句话的时候，会把看和动画片紧密的关联在一起，看动画片的动作是自然而然的就在我们大脑中出现的。虽然两者之间还隔了“一整天的”这样一段语音，但是我们的大脑还是能够自然而然的把看和动画片整合在一起。原因就像刚才的英语句子一样，在这个中文例子的句法树结构中，看和动画片是更为接近的。

2、Contextualized meaning

除了有结构的特点之外，语言另外一个比较显著的特点就叫做这个Contextualized meaning。就是我们对一个词，对一个概念的理解是有特定语境限制的。

具体的我们可以看下图这样一句话，里面有两个bank。第一个bank它的意思是银行，第二个bank是河岸。不管是在中文还是在英文里面，很多词都有多个语义。在我们理解它时，具体应该选哪个语义就取决于它所在的语境。比如说第一个bank，它是bank of london，就是伦敦银行，我们就选择它作为银行的意思。第二个是泰晤士河河畔，那它就是河岸的意思。