从有限语料里找不到无限句子
书真正要处理的不是“语言很复杂”,而是一个可操作的难题:语言学家怎样写出一套语法,使它生成一个语言的全部合语法句,而且不生成不合语法句?这套语法还得对说话者从未听过的句子给出判断。若把语法等同于语料中出现过的模式,样本的边界就成了理论的边界;可实际说话每天都在越过这个边界。
1950 年代的美国结构主义把注意力放在能观察的材料上。研究者从语音、词素和词序的分布中切出单位,再用相邻的形式关系描述句子。行为主义的气氛又让“能力”“心理表征”显得不够科学,仿佛只要把刺激、反应和强化记录好,就能解释语言行为。这个办法能整理已有句子,却难说明为什么一个人能听懂从未出现过的长句,也难说明两个意义差很远的句子为何拥有相同的结构关系。
“Colorless green ideas sleep furiously”把裂缝摆到桌面上。词义互相冲突,句法却像英语句子;把语义通顺当作语法标准,会把这类判断抹掉。问题于是从“这句话说了什么”换成“它的组成和依存关系能否由一套规则推出”。
一套会自己长句子的语法
这里的取景框有两层。第一层是短语结构规则:S → NP VP 之类的改写,把句子拆成有层级的短语,并允许递归地把短语嵌进短语。第二层是转换:它不是在相邻词之间接龙,而是对整棵 phrasemarker 动手,把一个结构变成另一个结构,例如把主动结构变成被动结构、把疑问成分移到句首。两层合在一起,语法才有机会同时抓住局部组成和跨距离依存。
- 基线:Bloomfield 式美国结构主义——只从可观察语料的分布归纳单位,不引入句外心理实体。
- 基线:Harris 式分布分析——用形式位置和替换关系描写句型,理论目标仍贴着已收集的材料。
- 基线:行为主义——把语言行为还原为刺激、反应和强化,回避不可观察的语言知识。
- 基线:有限状态或 Markov 描述——用局部转移近似词序,无法保留无界的长距离结构。
借来的框来自几个方向:结构主义的分布方法、形式语言中的改写系统,以及 Harris 和 Emil Post 一脉的形式精确性。它们给了“规则生成”这副镜片,却没有单独解决自然语言的句法依存。作者工序是把这些材料接成一个分层装置:先用短语结构组件建立基本句型,再用转换组件产生表层变体,并把“合语法”定义成一套规则对字符串的可生成性,而不是字符串是否有意义。语法还要能拿新句子来检验,复杂度和覆盖面可以成为比较不同语法的尺度。
这套装置的来路虽早已有迹可循,接法却是本书自己的。只去掉短语结构,转换就没有可操作的输入;只去掉转换,短语规则又不能说明被动句、疑问句和其他跨距离关系。两块互相咬合,正是作者加上的工序。它也解释了为何书里反复区分 phrase-structure grammar、finite-state grammar 和 transformational grammar:不是给术语换名字,而是在问哪种规则系统真的有足够的生成能力。
“荒谬却合语法”的句子
戴上这副框,语言的第一幅画面变了。一个句子首先是一棵带标签的树和一串可追踪的转换,不是一条按词频排好的线。听者凭有限规则处理无限多组合;研究者则能把一个新句子送进规则系统,看它是否得到合法的结构。语法因此成为可反驳的理论:它若漏掉常见结构,或放进明显不合式的字符串,就要修改规则。
这也把句法和语义暂时分开。绿色的想法并不“无色”,想法也不会睡觉,但整句仍满足英语的短语排列和形态要求。反过来,语义通顺不保证句法成立;词都认识、意思也猜得到,结构位置不对仍会被说话者拒绝。合语法不等于有真值,句法系统可以先给出形式判断,再把输出交给意义解释。
落点很具体:自然语言的创造力来自一套有限而递归的规则,理论要预测未见句子,而不是把过去的句子编成更漂亮的目录。这个落点留下两个边界。第一,书中的转换系统是早期方案,后来的句法理论改写了许多组件;第二,书把语法形式写得很清楚,却没有凭一套实验把学习机制、语用和社会互动都解释完。它把“能说新句子”从神秘天赋改成了可计算的结构问题,但没有把整个人类语言装进一个模型。
把语法放到“可生成性”轴上
基线真正争论的轴不是“规则多还是规则少”,而是语言知识只记录已发生的句子,还是还要生成尚未发生的句子。Bloomfield 和 Harris 靠左,先把可观察的分布做稳;行为主义把心理实体也压到这端。Chomsky 仍使用分布材料,却把规则的责任推到右端,要求它面对无穷的新组合。图中的距离是对旧共识的修正,不是换一套词汇装饰。
轴:语法知识的来源(记录已见句 ←────────→ 生成未见句)
左极:经验记录
● Bloomfield:分布与刺激—反应
● Harris:从语料归纳结构
旧共识●:语料覆盖即语法
└──修正──▶ ★ Chomsky:短语规则+转换
右极:递归生成与结构依存
图注:● 表示旧共识一侧,★ 要求规则处理未见句。
作者盲点:语用、社会互动与语言变化没有进入这条轴。
图上两位结构主义者挨着旧共识,因为他们都把理论的证据边界放在语料。作者没有丢掉形式证据,反而把它变成能够外推的规则;所以星号仍在同一条轴上,只是离“记录”更远。盲点也很清楚:句法树能描述结构,却不自动告诉我们说话者为何在某个场合选择这句话,也不告诉我们语言怎样在社群中变动。
没有树标注,也能学到一段结构
新位置是 1957 年不可能处理的循环神经网络。先把三种系统分开。局部 n-gram 只看固定窗口里的词,隔着多个名词追踪主语时理应失手。一般 RNN 有循环状态,能保留较远信息,却没有手写短语树或转换规则;它可能只学“跟最近名词配对”,也可能从语料中长出足以追踪层级关系的表示。2018 年 NAACL 论文测试的是后一类通用语言模型 RNN,不是局部 n-gram,也不代表所有网络。
这里不把 Chomsky 的主张改写成“只有手写树才能学会一致性”。书给出的是一套 具体形式实现:短语结构规则加转换规则,生成、比较并检验句子。书外窄预测是: 若这套实现是处理长距离依存的唯一道路,未接受句法标注、只靠下一词目标训练的 RNN,在无意义新句的长距离数一致上应不稳,容易被最近的干扰名词带走。若 RNN 稳定越过干扰名词,只说明 1957 年的实现不是唯一办法,不说明结构关系不重要; 反过来,RNN 失败也只说明这套训练条件不足,不能证明转换规则唯一。
预测:无句法标注的 RNN 若能稳定越过干扰名词,1957 年那套形式实现就不是唯一 可行实现;若它失败,也只说明这次训练没有学到足够的结构线索。
证伪条件:只有把“结构关系本身不需要、相邻词频已经足够”作为命题时,RNN 在无意义材料上仍能保持长距离一致才算反例;它不能把“必须使用显式转换规则” 改写成 Chomsky 的原命题。
现实对照:Gulordava 等人的 NAACL 一手论文在英语、意大利语、希伯来语和俄语上训练通用语言模型 RNN,再用长距离数一致检验。研究把句中的内容词换成同词类的随机词,做出“无色绿色”式材料,尽量切断熟悉语义和词汇搭配。网络仍能可靠预测远处动词的数;在意大利语测试中,它与人的表现相差不大。这个结果支持较窄的判断:处理未见句不能只靠相邻词频,系统得抓住超出表层序列的关系。它也削弱 1957 年那套形式实现的唯一性,因为网络没有句法标注也能学到一部分结构线索。实验只测数一致,不能证明 RNN 已掌握整套转换语法,也不能判定 Chomsky 所说的结构约束不需要。对“表层序列不足、需要某种结构约束”是半中;对“必须由这套显式转换实现”则落空。
结果:半中。
书名异文与材料边界
- De Gruyter Mouton 书目页:核对作者、1957 年出版与常用复数题名 *Syntactic Structures*,并确认原书属于 Janua Linguarum 系列。
- MIT Libraries:Year 97—1957:大学图书馆的书目与导读,直接说明句法合式可以和语义荒谬并存,并以 “Colorless green ideas sleep furiously” 作例。
- Stanford Encyclopedia of Philosophy:Innateness and Language:学术条目核实有限语料的局限、短语结构规则、转换规则以及生成全部且仅有合语法句的目标。
- ACL Anthology:Colorless Green Recurrent Networks Dream Hierarchically:核对四语言、长距离一致与无意义句实验;它支持超出相邻词频的结构泛化,同时削弱“结构必须由 1957 年那套显式转换实现”的强读法;实验不能单凭数一致判定整套句法理论。
材料等级:初拆。现有材料包括权威书目、图书馆导读和同行维护的学术百科条目,没有逐页通读 117 页正文,因此把早期生成语法的主线写窄,不把后来的普遍语法争论倒灌成 1957 年原书结论。本站书目采用单数 `Syntactic Structure`,权威书目和原书通行题名为复数 `Syntactic Structures`;这是题名异文,标题沿用本站书目的写法。