数学应用-贾里尼克的故事和现代语言处理

发表者：Google 研究员，吴军

读 者也许注意到了，我们在前面的系列中多次提到了贾里尼克这个名字。事实 上，现代语音识别和自然语言处理确实是和它的名字是紧密联系在一起的。我想 在这回的 系列里，介绍贾里尼克本人。在这里我不想列举他的贡献，而想讲一 讲他作为一个普普通通的人的故事。这些事要么是我亲身经历的，要么是他亲口 对我讲的。

弗 莱德里克.贾里尼克(Fred Jelinek)出生于捷克一个富有的犹太家庭。他的父 母原本打算送他去英国的公学（私立学校）读书。为了教他德语，还专门请的一 位德国的家庭女教师，但 是第二次世界大战完全打碎了他们的梦想。他们先是 被从家中赶了出去，流浪到布拉格。他的父亲死在了集中营，弗莱德自己成天在 街上玩耍，完全荒废了学业。二 战后，当他再度回到学校时，他的成绩一塌糊 涂， 全部是 D，但是很快他就赶上了班上的同学。不过，他在小学时从来没有 得过 A。1949 年，他的母亲带领全家移民美国。在美国，贾里尼克一家生活非 常贫困，全家基本是靠母亲做点心卖钱为生，弗莱德自己十四五岁就进工厂打工 补助全 家。

贾里尼克最初想成为一个律师，为他父亲那样的冤屈者辩护，但他很快意识到他 那浓厚的外国口音将使他在法庭上的辩护很吃力。贾里 尼克的第二个理想是成 为医生，他想进哈佛大学医学院，但经济上他无法承担医学院 8 年高昂的学费。 与此同时麻省理工学院给于了他一份（为东欧移民设的）全额奖学金。贾里尼克 决定到麻省理工学电机工程。在那里，他遇到了信息论的鼻祖香农博 士，和语 言学大师贾格布森 Roman Jakobson (他提出了著名的通信六功能）[注释一]， 后来贾里尼克又陪着太太听最伟大的语言学家乔姆斯基(Noam Chomsky)的课。这 三位大师对贾里尼克今后的研究方向–利用信息论解决语言问题产生的重要影 响。

贾 里尼克从麻省理工获得博士学位后，在哈佛大学教了一年书，然后到康乃尔 大学任教。他之所以选择康乃尔大学，是因为找工作时和那里的一位语言学家谈 得颇为投 机。当时那位教授表示愿意和贾里尼克在利用信息论解决语言问题上 合作。但是，等贾里尼克到康乃尔以后，那位教授表示对语言学在没有兴趣而转 向写歌剧了。贾 里尼克对语言学家的坏印象从此开始。加上后来他在 IBM 时发 现语言学家们嘴上头头是道，干起活来高不成低不就，对语言学家从此深恶痛绝。 他甚至说："我每开除一名语言学家，我的语音识别系统错误率就降低一个百 分 点。" 这句话后来在业界广为流传，为每一个搞语音识别和语言处理的人所熟知。

贾里尼克在康乃尔十年磨一剑，潜心研究信息论，终于悟 出了自然语言处理的 真谛。１９７２年，贾里尼克到ＩＢＭ 华生实验室（ＩＢＭ Ｔ．Ｇ．Ｗａｔ

ｓｏｎ Ｌａｂｓ）做学术休假，无意中领导了语音识别实验室，两年后他在康 乃尔和ＩＢＭ 之间选择了留在ＩＢＭ。在那里，贾里尼克组建了阵容空前绝后 强大的研究队伍，其中包括他的著名搭档波尔（Bahl），著名的语音识别 Dragon 公司的创始人贝克夫妇，解决最大熵迭代算法的达拉皮垂(Della Pietra)孪生兄 弟，BCJR 算法的另外两个共同提出者库克(Cocke)和拉维夫(Raviv)，以及第一 个提出机器翻译统计模型的布朗。

七十年代的 IBM 有点像九十年代的微软和今天的 Google, 给于杰出科学家作 任何有兴趣研究的自由。在那种宽松的环境里，贾里尼克等人提出了统计语音识 别的框架结构。 在贾里尼克以前，科学家们把语音识别问题当作人工智能问题 和模式匹配问题。而贾里尼克把它当成通信问题，并用两个隐含马尔可夫模型（声 学模型和语言模型） 把语音识别概括得清清楚楚。这个框架结构对至今的语音 和语言处理有着深远的影响，它从根本上使得语音识别有实用的可能。 贾里尼 克本人后来也因此当选美国工程院院士。

贾里尼克和波尔，库克以及拉维夫对人类的另一大贡献是 BCJR 算法，这是今天 数字通信中应用的最广的两个算法之一（另一个是维特比算法）。有趣的是，这 个算法发明了二十年后，才得以广泛应用。IBM 于是把它列为了 IBM 有史以来 对人类最大贡献之一，并贴在加州 Amaden 实现室墙上。遗憾的是 BCJR 四个人 已经全部离开 IBM，有一次IBM 的通信部门需要用这个算法，还得从斯坦福大学 请一位专家去讲解，这位专家看到 IBM 橱窗里的成就榜，感慨万分。

贾 里尼克和 IBM 一批最杰出的科学家在九十年代初离开了 IBM，他们大多数在 华尔街取得了巨大的成功。贾里尼克的书生气很浓，于是去约翰霍普金斯大学建 立了世界著名的 CLSP 实验室。每年夏天，贾里尼克邀请世界上 20-30 名顶级 的科学家和学生到 CLSP 一起工作，使得 CLSP 成为世界上语音和语言处理的中 心之一。

贾里尼克治学极为严谨，对学生要求也极严。他淘汰学生的比例极高，即使留下 来的，毕业时间也极 长。但是，另一方面，贾里尼克也千方百计利用自己的影 响力为学生的学习和事业创造方便。贾里尼克为组里的每一位学生提供从进组第 一天到离开组最后一天全部 的学费和生活费。他还为每一位学生联系实习机会， 并保证每位学生在博士生阶段至少在大公司实习一次。从他那里拿到博士学位的 学生，全部任职于著名实验室， 比如IBM, 微软，AT&T 和 Google 的实验室。 为了提高外国人的英语水平，贾里尼克用自己的经费为他们请私人英语教师。

贾 里尼克生活俭朴，一辆老式丰田车开了二十多年，比组里学生的车都破。他 每年都邀请组里的学生和教授到家里做客，很多毕业了的学生也专程赶来聚会。 在那里， 他不再谈论学术问题，而会谈些巩俐的电影（他太太是哥伦比亚大学 电影专业的教授），或是某著名教授被拉斯韦加斯的赌馆定为不受欢迎的人等等。 但是他聚会的 食物实在难吃，无非是些生胡萝卜和芹菜。后来贾里尼克掏钱让 系里另一个教授承办聚会，那个教授每次请专业大厨在家作出极丰盛的晚宴，并 准备许多美酒，从此 这种聚会就转移到那个教授家了。

除了巩俐的电影，贾里尼克对中国的了解就是清华大学和青岛啤酒了。他有时会 把两个名字搞混，有两次被香港科技大学的 Pascale 冯教授抓住。

贾 里尼克说话心直口快，不留余地。在他面前谈论学术一定要十分严谨，否则 很容易被他抓住辫子。除了刚才提到的对语言学家略有偏见的评论，他对许多世 界级的大 师都有过很多“刻薄”但又实事求是的评论，这些评论在业界广为流 传。贾里尼克在四十多年的学术生涯中居然没有得罪太多的人 ，可以说是一个 奇迹。

注释一：

贾格布森的通信模型 1 上下文 2

信息 3

发送着 ————— 4 接收者 5

信道

6 编码

声明: 除非转自他站（如有侵权，请联系处理）外，本文采用 BY-NC-SA 协议进行授权 | 嗅谱网
转载请注明：转自《数学应用-贾里尼克的故事和现代语言处理》
本文地址：http://www.xiupu.net/archives-2801.html
关注公众号：