三千年前的古文字被AI破译,MIT和谷歌开发失传语言的机器翻译系统

浅谈深度学习(Deep Learning)的基本思想和方法 深度学习(Deep Learning),又叫Unsupervised Feature Learning或者Feature Learning,是目前非常热的一个研究主题。 本文将主要介绍Deep Learning的基本思想和常用的方法。 一. 什么是Deep Learning? 实际生活中,人们为了解决一个问题,如对象的分类(对象可是是文档、图像等),首先必须做的事情是如何来表达一个对象,即必 阅读详情

大数据文摘出品

编译:刘俊寰

 

1886年,英国考古学家亚瑟·伊万斯偶然间发现了一块刻印着未知语言的石头。得知这块石头来源于地中海的克里特岛后,伊万斯立马动身前往此处以搜寻更多证据。在那里,他马上就发现了许多笔迹相似的石碑,这些石碑能追溯到公元前1400年左右,这些刻字也就成为目前发现的最早的书写形式之一。伊万斯表示,这种线形形式是从早期艺术中粗糙的线条画演变而来,在语言史上占有重要地位。

 

伊万斯等人后来证实,石碑上的刻字是两种不同的文字系统。稍古老的一种称为A类线形文字,可以追溯到公元前1800年至1400年,此时克里特岛还处于青铜时代的米诺文明阶段。时间上更近一点的文字系统称为B类线形文字,公元前1400年后才出现,此时的克里特岛正被希腊大陆的迈锡尼人统治着。

 

许多年来,伊万斯等人一直试图翻译这些古老的文字,但都无疾而终。

 

这个问题直到1953年,一个名叫迈克尔·文特里斯的业余语言学家成功翻译B类线形文字之后,才得到解决。

 

两个假设

 

文特里斯的成功建立在两个决定性突破上。第一,他假设B类线形文字中重复出现的词语是克里特岛的地名——这在其后被证明是正确的。第二,他假设这些刻字是古希腊语的早期形式——这让他能够立即翻译出B类线形文字的其他部分。在翻译过程中,文特里斯表示,古希腊语的书面表达形式比之前预想的还要早几个世纪。

 

文特里斯的工作成果是一项巨大的成就。但像A类线形文字这样的更为古老的文字系统,到今天为止仍然是语言学上一个亟需解决的难题。

 

通过机器学习绘制特定语言的联结

 

不难想象,近年来机器翻译的最新进展对此有所帮助。

 

短短几年内,注释数据库和让机器从中学习的技术让语言学习发生了革命性变化,这使得机器翻译变得越来越普遍。尽管翻译质量有待提高,但这也提供了思考语言的一个全新角度。

 

来自麻省理工学院的罗家明(音译)和雷吉纳·巴尔齐莱,以及来自加州山景城谷歌人工智能实验室的曹源(音译),由他们组成的团队研发出了能够翻译失传语言的机器学习系统,并且使其翻译B类线形文字——第一次完全自动翻译——证明了系统可行性。

 

他们所利用的方法与标准机器翻译技术有着显著区别。首先需要知道,不管哪种语言,机器翻译的关键都在于认识到文字间联结的相似性。因此整个过程是从绘制特定语言的联结开始,这需要庞大的文本数据库,机器在这个文本数据库中查验每个字符与其他字符在多大频率上联结在一起。这种表现非常独特,它在多重参数空间上定义了这个词语。实际上,这个词语可以视为空间内一个向量,这个向量在机器对任何语言的翻译结果中都起到重要的约束作用。

 

这些向量遵循着简单的数学规则,举例而言,国王(king)-男性(man)+女性(woman)=王后(queen)。所以,一句话可以认为是由一系列向量排列形成的一条跨越空间的轨迹。

 

完全对应地翻译

 

机器翻译的关键洞见在于,不同语言中的词语在各自的参数空间内占据着相同位置。这使得一种语言能够完全对应地被翻译成另一种语言。在这个意义上,翻译句子就变成寻找那些跨越空间的相似轨迹的过程,机器甚至不需要“知道”句子的具体含义。

 

这个过程需要依赖大数据集。但几年前,德国的一个研究者团队利用小型数据库协助翻译缺少大型文本数据库的稀有语言,其中的窍门在于找到一种除数据库之外能够约束机器的方法。

 

利用语言进化的约束

 

罗家明团队已经进一步展示了机器是怎样翻译一门失传语言的,他们使用的约束与语言随时间的变化相关。任何语言都是以某种方式变化的,比如,亲属语言中的符号以相似的分布出现,相关词语有相同顺序的字符,等等。有了这些规则的约束,如果已知某种古老的语言形式,那么翻译就会轻松许多。

 

罗家明团队利用这项技术测试了两种失传语言,B类线形文字和乌加里特语。语言学家已经知道,古希腊语的早期形式是由B类线形文字编码得到,而在1929年发现的乌加里特语则是希伯来语的早期形式。

 

利用这些信息和语言进化的约束,罗家明团队研发的机器能够以相当高的准确度完成上述两种语言的翻译。“我们能够正确地将67.3%的B类线形文字中的同源词翻译成对应的希腊语”,他们说,“据我们所知,本次实验是最早尝试自动翻译B类线形文字的。”而出色的工作成果将机器翻译提高到新的水平。但这也引发了关于其它失传语言的疑问——尤其是从未被翻译过的语言,如A类线形文字。

 

在这篇文章中,A类线形文字的缺席显而易见,罗家明团队甚至没有提及A类线形文字,但和所有语言学家一样,它肯定在他们心中挥之不去。不过可以确定的是,在A类线形文字能够被机器准确翻译之前,我们还需要一些重要的突破。举个例子,没人知道A类线形文字编码了哪种语言,将它翻译成古希腊语的尝试都失败了。如果不知道祖语言,新技术也起不了作用。

 

但是基于机器的方法存在一个明显的优势,机器可以快速而不知疲倦地对每种语言进行测试。因此罗家明团队或许可以用一种粗暴的方法攻克A类线形文字的翻译难关——尝试将它翻译成机器已经掌握的每种语言。如果最终成功,那一定是一项伟大的成就,一项足以另迈克尔·文特里斯赞叹不已的成就。

 

耗时三年,14万行,50年前阿波罗11号登月的全部代码都能在GitHub找到了! 大数据文摘出品 作者:易琬玉 50年前的今天,美国宇航员尼尔森·阿姆斯特朗从阿波罗11号飞船登月舱走出,在月球表面留下了人类登月的第一个脚印。 美国总统肯尼迪1961年就设定了登月目标。阿波罗计划历时9年,经历了十次失败,Apollo11号才终于将人类的踪迹带到了月球。在着陆前,躲开了陨坑和巨石宇航员阿姆斯特朗和奥尔德林在着陆点周围探索了两个多小时,他们采集了土壤和岩石样本、... 阅读详情

相关推荐

十个技巧,让你成为“降维”专家

大数据文摘出品 来源:PLOS 编译:啤酒泡泡、刘兆娜、李雷、sirin、邢畅、武帅、钱天培 在分析高维数据时,降维(Dimensionality reduction,DR)方法是我们不可或缺的好帮手。 作为数据去噪简化的一种方法,它对处理大多数现代生物数据很有帮助。在这些数据集中,经常存在着为单个样本同时收集数百甚至数百万个测量值的情况。 由于“维度灾难”(cur...

BigDataDigest的博客 1334

深度学习在考古学领域的应用

《深度学习在考古学领域的应用》 作者:禅与计算机程序设计艺术 1. 背景介绍 考古学作为一门研究古代文明和历史的学科,一直以来都面临着许多挑战。传统的考古发掘和分析方法往往效率低下,需要大量的人力和时间投入。随着人工智能技术的不断发展,特别是深度学习在计算机视觉、自然语言处理等领域取得的巨大成功,它们也逐渐被应用到考古学研

AI架构师小马 1330

手工计算神经网络第三期:数据读取与完成训练

大数据文摘出品作者:蒋宝尚小伙伴们大家好呀~~用Numpy搭建神经网络,我们已经来到第三期了。第一期文摘菌教大家如何用Numpy搭建一个简单的神经网络,完成了前馈部分。第二期为大家带来了梯度下降相关的知识点。这一期,教大家如何读取数据集,以及将数据集用于神经网络的训练,和上两期一样,这次依然用Numpy实现。在开始代码之前,文摘菌先带大家看看今天我们使用的数据集。数据集介绍数据集采用著名的MNIS...

BigDataDigest的博客 1159

国外科学家使用深度学习还原古代文字代码开源

下面这张图是考古中发现的一块损坏的铭文:关于一项关于雅典卫城的法令(公元前485/4)。 概述 深度学习可以帮助学者恢复古希腊文字。 牛津大学的研究人员(Thea Sommerschield和乔纳森·普拉格教授)和DeepMind的研究人员(Yannis Assael)建立了Pythia,训练了神经网络来猜测希腊铭文中缺少的单词或字符。 它们在包括石材,陶瓷和金属的表...

图像算法Imalg的博客 1236

DeepMind发布多智能体协作最新评估方法α-Rank,登上Nature

大数据文摘出品 来源:Nature 编译:魏子敏、宁静 在开发通用人工智能的过程中,训练和评估算法同样重要。 评估指标不仅仅在培训结束时发挥作用,并且也是整个培训过程中智能体进化的关键驱动因素。 错误的排序和不合理的限制可能会让AI自行进化出奇怪的“心眼”。在之前我们的一篇报道中就总结了错误的评估方式导致的AI“钻空子”训练法,比如在让AI玩俄罗斯方块的时候,发现最...

BigDataDigest的博客 1157

Adobe又逆天!不用机器学习,用13.5M软件把《长安十二时辰》变成水墨动画

大数据文摘出品 作者:曹培信 用过修图软件的同学们应该都知道,利用强大的GAN,已经可以实现一键转换照片风格的功能,比如将你拍的风景照转换成一副印象派的画作。 现在,轻松转换视频风格的软件也诞生了! Secret Weapons发布了一款简单而又强大的软件EbSynth,由布拉格捷克技术大学和Adobe共同研发。这款只有13.5M的免费工具,轻松几步就可将视...

BigDataDigest的博客 1123

深度学习发现古人类遗址,AI 考古比胡八一更高效

By 超神经内容一览:伊利诺伊州立大学人类学专业考古方向的研究人员,将空间遥感技术和深度学习应用于古人类遗址的发掘和研究。关键词:考古 遥感 机器视觉考古,一直是个神秘又充满吸引力的话题。...

HyperAI超神经 1210

所见即所触,教AI实现触觉和视觉的信息交互

大数据文摘出品 来源:MIT 编译:楚阳 在加拿大作家玛格丽特•阿特伍德的著作《盲人杀手》中有这样一段描述:“触觉,先于视觉也先于语言,既是第一语言也是最后的语言,并总是诉说真相。” 触觉使我们可以感受世界,而视觉帮助我们了解其全貌。 被编写为视觉或者触觉的机器人一般不能实现此两种感官信息的交互。为打破这种隔绝,来自MIT(麻省理工学院)CSAIL(计算机科学与人工...

BigDataDigest的博客 1029

三千年前的古文字被 AI 破译,MIT 和谷歌开发失传语言的机器翻译系统

本文授权转载自大数据文摘 |BigDataDigest文章有部分改动文字是文明的重要标志和载体,古老的文明都拥有自己的文字。沿着文字的变迁,我们能够追溯历史的进展。然而...

HyperAI超神经 2868

缺陷检测:使用PatchCore训练自己的数据集

必须包含有训练图片(无缺陷图片)、测试图片(缺陷图片)和ground_truth,并且ground_truth必须与对应图片的名称相同。同上一篇结果一样,我的输出为原始图片大小,但是不知道是不是因为图片不是正方形的,导致训练结果不好。编写一个脚本,重新规划数据集的路径规则,但是我稍微写复杂了一点,使用了类来操作。第二种(复杂):编写一个自己的Dataset,参考。第一种(简单):将数据集路径规则改成项目中。返回的必须是一个字典类型,可以阅读。本人此次使用的是第一种方法。运行时,参数部分直接输入。

xiaoxTai的博客 6484

从PCEP到PCAP:一个数据分析师的Python认证升级之路与学习规划

本文详细介绍了数据分析师从PCEP(初级)到PCAP(中级)的Python认证升级路径,包括考试内容、备考策略和时间规划。通过系统化的学习,读者可以掌握Python在数据分析中的核心应用,提升职业竞争力。文章还提供了实用的代码示例和认证考试对比,帮助读者高效备考。

weixin_27427619的博客 442

深度学习碰上古文献,西南大学提出基于CNN的古彝文识别方法

在论文《A Recognition Method of Ancient Yi Character Based on Deep Learning》中,西南大学计算机与信息科...

IT派 1909

计算机网络实验六 RIP 配置实验

Man! What can I say?

AClerk的博客 1597

机器学习在古文字方面的研究

作为一个即喜欢机器学习又喜欢古文的攻城狮,如何有效整合这两个爱好呢?我觉得用机器学习来研究一下古文字。为此我们先研究一下相关文献 论文 基于支持向量机的甲骨文文章文字结构分析 甲骨文至今 15万片,甲骨文也有75万字 基于部件的甲骨文字形数据库 基于已考释完成的甲骨文进行“甲骨文-- 金文” 文字对应和“甲骨文-- 现代汉语” 通过监督学习、隐马尔可夫模型、贝叶斯学习等...

iCloudEnd的博客 1557

1.全基因组重测序数据分析介绍

二代测序原理及fastq数据解读、全基因组重测序数据分析内容

weixin_53682198的博客 1886

多智能体记忆架构设计:从分层模型到一致性实践

多智能体记忆架构本质上是一个有状态、分布式、支持遗忘的知识系统。从分层模型入手,结合RBAC隔离、版本向量一致性以及混合存储,可以构建出既灵活又健壮的生产级方案。可微分记忆:让记忆的读写操作嵌入端到端训练。基于大模型的记忆压缩:用LLM自动生成情景摘要,取代规则式遗忘。联邦记忆:不同组织之间的多智能体系统在不共享原始数据的情况下协同记忆。希望本文能为你的多智能体项目提供一块坚实的基石。欢迎在评论区分享你在实践中遇到的记忆架构难题。

Ven%的博客 172

5G爆发前夜,谷歌微软争相豪赌的云游戏厉害在哪?

大数据文摘出品 作者:曹培信 今年3月20日,Google CEO Sundar Pichai在全球最大的游戏大会之一GDC,发布了云游戏平台Stadia以及一款配合Stadia平台使用的游戏手柄。 几天后,在E3 2019游戏展上,微软也展示了自家的云流媒体服务Project xCloud。 巨头科技公司抢占云游戏高地的帷幕正在缓缓拉开。在讨论更多细节之前,让我们先...

BigDataDigest的博客 5606

RK3568开发笔记- (TX/RX) RGMII delayline 功能调试

本文详细介绍了RK3568芯片RGMII接口delayline功能的调试过程。针对千兆以太网通信不稳定问题,通过分析RGMII时序要求,利用RK3568内置的delayline功能补偿信号延迟。调试方法包括扫描delayline窗口、测试中间值配置、优化硬件设计等步骤。文章还总结了常见问题解决方案,如PHY选型建议和自动扫描功能配置。最终实现了千兆速率下丢包率降至0.01%以下的目标,为类似开发场景提供了实用参考。

flypig has a dream! 318

AI = 神经网络?这8个技术就不是!

大数据文摘作品编译:傅一洋、丁慧、AileenAI热潮中,有关神经网络的声音最大。然而,AI远远不止如此。目前在AI技术领域中,投入资金最多的当属对神经网络的研究了。在众人眼中,神经网络技术貌似就是“程序构造的大脑”(虽然比喻很不准确)。神经网络的概念早在20世纪40年代就被提出,但直到现在,人们对于神经元及大脑的工作方式仍然知之甚少,最近几年,科研界关于神经网络技术创新的呼声越来越强,渴望重...

BigDataDigest的博客 4054

基于本机知识库 + 豆包(火山引擎)+ MCP的落地方案

最小 MVP:本地知识库 + Doubao Embedding + 简单检索。工具化:把检索/写入/系统功能通过 MCP 封装。Agent 编排:RAG 流程 + 自检 + 引用输出。这样你就可以快速落地一个基于豆包 + 本机知识库的 MCP Agent。

lpfasd123的博客 1099

ZYNQ PL通过EMIO ETHE1外接PHY由GMII转RGMII

1,设置EMIO方式引出ETHE1 2,从GMII过度到RGMII GMII: 发送 gmii_tx_clk gmii_tx_d[7:0] gmii_tx_en gmii_tx_er 接收 gmii_rx_clk gmii_rx_d[7:0] gmii_rx_dv gmii_rx_er RGMII: 发送 tx_clk tx_d[3:0] tx_ctrl 接收 rx_clk rx_d[3:0] rx_ctrl 首先数据总线从时钟单边沿采样8bit转变为了双边沿采样4bit,从88E1

wangjie36的博客 1万+

入职一年后,一位算法工程师给初学者的一封信

大数据文摘出品 来源:towardsdatascience 编译:啤酒泡泡、fuma、张弛、宁静 “作自己的怀疑论者,不断试错,有时,沟通比技术本身能带来更大的价值。” ——佚名 亲爱的读者: 你们好!我是Daniel Bourke,一位来自澳大利亚的机器学习工程师。我在这个岗位上从业有一年之久了,好吧,可能很多读者对这个岗位不太熟悉,可以随我看下一天的工作...

BigDataDigest的博客 2235

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

从DeepNet到HRNet,这有一份深度学习“人体姿势估计”全指南

大数据文摘出品来源:blog.nanonets作者:栾红叶、熊琰、周家乐、钱天培从DeepNet到HRNet,这有一份深度学习“人体姿势估计”全指南几十年来,人体姿态估计(Human Pose estimation)在计算机视觉界备受关注。它是理解图像和视频中人物行为的关键一步。在近年深度学习兴起后,人体姿态估计领域也发生了翻天覆地的变化。今天,文摘菌就从深度学习+二维人体姿态估计的开山之作Dee...

BigDataDigest的博客 1153

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Netflix一位数据科学家剪出了上百部爱情片,想教AI认识“亲吻” | 国际接吻日

大数据文摘出品 编译:高延、橡树_Hiangsug、宁静 7月6日,这可能是一年中最适合亲吻的日子——国际接吻日(International Kissing Day)。 这个节日最早起源于英国。1991年这个节日得到了联合国的承认,也希望让更多人知道,亲吻的美好,这也是人类表达爱意最自然的一种方式。 那么,人工智能可以通过训练了解亲吻吗? 来自Netflix的...

BigDataDigest的博客 1093

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

全球首个AI宇宙模拟器发布!6亿光年宽度,还“自行”跑出了暗物质

大数据文摘出品 作者:易琬玉、曹培信 《创世纪》里,神用7天创造了这个世界。而现在,你可能也有机会体验这个过程,创造一个属于自己的宇宙。 6月11日,Space Engine 0.990版本在Steam平台发售,发售不到一天,近300测评全部为最高评价,截止6月20日已经卖出了2万份,同时Steam用户好评率高达96%。之后,还得到了资深电脑游戏玩家、复旦大学中文系教授严峰的...

BigDataDigest的博客 1026
上一篇: 寻找数据统治力:比较Spark和Flink
下一篇: 合成特朗普的西班牙语演讲,新研究实现跨语言语音克隆 | 一周AI最火论文
BigDataDigest
博客等级 码龄9年 448粉丝 500原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值