吊床厂家
免费服务热线

Free service

hotline

010-00000000
吊床厂家
热门搜索:
技术资讯
当前位置:首页 > 技术资讯

号称打败谷歌翻译的DeepL究竟靠不靠谱_[#第一枪]

发布时间:2021-06-07 18:03:13 阅读: 来源:吊床厂家

鉴于数据、计算力、算法等诸多门槛,自神经机器翻译(NMT)产品化以来,在很大程度上便是互联网巨头们的竞技场。

如今,又一个新的挑战者高调加入进来,直接把矛头指向堪称行业技术标杆的谷歌、微软以及 Facebook。

上周,来自德国的 DeepL 翻译上线,号称实现了 NMT 技术的新突破,打造出了“世界上最精确、语言组织最自然的机器翻译系统”;并宣布在自家组织的盲测中,打败了谷歌翻译以及微软与 Facebook 的 NMT 系统,衅意十足。

目前,DeepL 翻译已支持英德法西等 42 门欧洲语言,正在对汉、日、俄等语言进行训练,并计划在将来发布一款 API,让开发者能够将 DeepL 翻译整合入其应用中。

公司前身

首先要说,这家公司的来历并不简单。

公司的前身是运营已近十年的在线外语词典 Linguee,DeepL 翻译也完全由Linguee 团队打造。Linguee 在国内没什么存在感,至于在海外……有谷歌翻译专美于前,存在感也不是很高,但还是有一批认可它的用户。

Linguee 的英汉、汉英词典界面

不过,Linguee 的成败现在已经不重要,毕竟都换马甲了——Linguee 在今年正式更名 DeepL,以“Deep”提醒 VC 自己是一家正儿八经的深度学习公司。

真正重要的是 Linguee 的技术积累。Linguee 由前谷歌翻译研究员 Gereon Frahling 在 2007 年离职开发,2009 年正式上线。就雷锋网所知,Linguee 的核心优势是它的爬虫和机器学习系统,前者抓取互联网上的双语对照翻译,后者对这些翻译的质量进行评估。两者结合,使 Linguee 成为了当时“世界上首个翻译搜索引擎”。十年积累,Linguee 无论在数据和对算法的研究上都不可小觑。

去年在伦敦 Noah 上演讲的 Gereon Frahling

一年前,其研究团队着手欲实现一个新目标:利用在机器翻译领域的多年专业积累,打造一套业内最先进的 NMT 系统。这便是 8 月 29 日上线的DeepL 翻译。

三大优势

既然底子厚实,我们来看看这些积累给 DeepL 带来了哪些资源优势。

雷锋网要提醒,以下信息均是 DeepL 一家之言,尚无第三方背书,大家需自行判断其含金量。

数据

Linguee 的数据集有逾十亿组对照翻译语句,号称是世界上最大的人工翻译数据集。Linguee 能随时搜索近似翻译结果。

计算力

DeepL 在冰岛搭建了一台超算,号称在全球 HPC 中性能排名第 23 位,浮点运算能力达到 5.1 petaFLOPS。因而能实现令 DeepL 十分自豪的计算速度:每秒处理百万量级的词语翻译。

算法

采用 CNN 而不是 NMT 产品通用的 RNN。DeepL 宣称其技术积累使得它能够克服 CNN 的主要短板,因而能实现比基于 RNN 的竞品算法更精确、自然的翻译结果。

效果展示

DeepL 宣称其翻译系统的表现打败了谷歌翻译以及微软、Facebook 的 NMT 系统, 是基于两个指标:盲测反馈和 BLEU 分数。

盲测

DeepL 邀请了职业翻译者,对DeepL 翻译、谷歌翻译、微软翻译以及 Facebook 的 NMT 系统进行了盲测,要求测试者选出所认为的最好的翻译结果。测试语言为三组,分别是英德、英法、英西互译,样本为 100 个句子。DeepL 并未公布每组参与测试的职业译者数量。测试结果如下:

如图所示,在每一门测试中,选择 DeepL 的测试者都最多。DeepL 在英译德、英译法、英译西的优势尤其明显。其官方统计是:选择DeepL 为最佳翻译结果的次数,与选择另外三家 NMT 服务的平均比例为 3:1 。

BLEU

BLEU 是业内评估机器翻译质量最常用的打分算法,其得分被认为与人类的评判结果具有较大相关性。

DeepL 宣布,其英译德、英译法的 BLEU 得分超过了所有已发表的 NMT 研究,包括谷歌 Transformer。结果如下:

如图,在英译法项目上,DeepL 的 BLEU 分数超过次优方案约 3.5%。

业内观点

踏入江湖的第一日,DeepL就自封“天下第一”。业内同行对此怎么看?

对此,咨询了搜狗语音交互中心总监陈伟、商鹊网 CEO 邹剑宇,以及 Facebook 机器学习工程师王杨。需要说明的是,三位老师均表示:由于缺乏关于 DeepL 算法、数据库的第一手资料,也没有来自第三方的信息,无法对其翻译水平做出客观判断。商鹊网的 CEO 邹剑宇评论道:“从相关报道中,对算法的描述并不详细,没有论文披露细节,所以并不好理解。“

因此,以下仅为这四位看到 DeepL 宣传信息后的一些个人看法。

一、

在 Facebook从事应用机器学习的工程师王杨,听到这件事的第一反应是怀疑——单是同时胜过谷歌翻译和Facebook NMT这一点,不拿出有足够说服力的证据就难以取信于人。谷歌的NMT 积累深厚,Facebook的NMT也在快速发展。一个新的产品想要如其所宣传的那样实现大幅超越,很难。

若 DeepL 确实在技术上实现了突破,那么不排除他们有全新的多语种(multilingual)模型。

至于 DeepL 的算法模型基于 CNN 而不是 RNN,王杨表示“这从侧面支持了 Facebook 的研究”。FAIR(Facebook AI Research)一直认为 CNN 在机器翻译上的潜力远远大过 RNN,尤其是计算速度,这也是 Facebook 在 NMT 领域的主要研究方向之一。

二、

搜狗语音交互中心总监陈伟,他们机器翻译团队刚刚在 WMT 2017评测中获得中英、英中两个翻译方向的第一名,他认为数据对 DeepL 的贡献可能远大过其它因素。而 Linguee 的数据爬取和积累,是一项不小的优势。

陈伟评论道:

“从 BLEU 对比看,提升的比较明显,感觉他们十亿量级的高质量数据对效果帮助比较大。实测大家都觉得好,这至少说明它数据的全面性还是够的。”

据一位德语专业的译员说,DeepL 德英互译的体验确实不错,这丝毫不意外——作为一家德国公司,顺理成章的,DeepL 重点关注的是德英、法英这些语种的翻译。这为 DeepL 在这几门语种的数据积累也提供了一定的聚焦和便利。

DeepL 公布的盲测、BLEU 评分,衡量的均是德、法、西这三门欧洲语言与英语之间的互译。

在算法方面,陈伟向雷锋网表示:

“没看到他们技术的详细介绍,只了解到使用了 CNN 而没有使用 RNN,但是我感觉架构变动不会太大,应该类似于 Facebook 的 convs2s。

他并不认可“CNN 是神经机器翻译未来”的说法:

在搜狗的实验对比中,“RNN-NMT、CNN-NMT 和谷歌的 Transformer 框架。三个技术我们都认真研究和优化过,目前 Transformer 框架已经在搜狗翻译系统上线,从机器评分和人工评测来看,都领先主要竞品,较RNN-NMT、CNN-NMT提升也比较明显。

业内也没有一致观点认为 CNN 是 NMT 的未来。我觉得技术方案无论是 CNN、RNN、Transformer 都没做到极致,目前主流技术框架到底是什么没有定论,算法细节的打磨和多种技术的融合会是未来发展趋势,另外数据量会是各家公司的技术壁垒。”

最后,陈伟总结,根据 DeepL 公布的报告,目前的评测存在三个地方导致难以评估其技术:

人工评测的测试数据量仅有 100 句,而一般人工评测或者 BLEU 评测会采用几千句的数量。

DeepL对比其他家并没有使用相同的训练数据集,因此性能无法很好评估。

更多的技术细节没有公布,很难把握具体的情况。

三、

商鹊网 CEO 邹剑宇十分认同数据和计算资源对 NMT 产品的重要性:

“报道说其训练引擎是基于一台冰岛超级计算机,可以说深度学习真的很需要计算力。Linguee 本身是一个不错的语料库公司,数据积累有自己的特点,这应该是其引擎优秀表现的一个基础。

对于引擎的评测,Linguee引擎的盲测很好,BLEU 值超过其他引擎最优质 3 个百分点(行业通识是,2 个 BLEU 值的提高就可以称作‘显著’)。”

对于 BLEU 值究竟能在多大程度上客观反映翻译质量,邹剑宇强调,需要合理看待其参考价值,不可把它等同于普通人面对翻译结果的直观体验:

“翻译评测有三类对象:科研人员,译员和普通阅读用户,三者评测的目标和方法不一致。BLEU 是一个科研环境的评测参数,和人的阅读体验感受有很大的不同,不可以同类而论。”

他最后忍不住拿自家产品做对比,表示商鹊网的新引擎甚至达到了比谷歌翻译高出 6 个百分点的BLEU 值。

工程复印纸价格

三头研磨机货源

自动贴片机图片