龙泉寺贤超法师:用 AI 为古籍经书识别、断句、翻译

Python+OpenCV竖版古籍文字分割 在做图片文字分割的时候,常用的方法有两种。一种是投影法,适用于排版工整,字间距行间距比较宽裕的图像;还有一种是用OpenCV的轮廓检测,适用于文字不规则排列的图像。 1. 思路 一开始想偷个懒,直接用OpenCV的模型,结果发现效果不佳。文字出现了过度分割的问题,部分文字甚至没有被识别: 于是只好使用传统方法,投影法。对文字图片作横向和纵向投影,即通过统计出每一行像素个数,和每... 阅读详情

By 超神经

内容提要:来自最强科研寺庙龙泉寺的贤超法师,近年来一直在研究人工智能与文献古籍的融合,目前,他已带领的《大藏经》团队实现 AI 自动标点、文白翻译、古籍文字识别等技术实践。

关键词:NLP,LSTM,自动标点

坐落在京郊凤凰岭脚下的龙泉寺,称得上全国甚至全球科研实力最强的佛教寺庙。

凭借当年学诚法师的一句「佛教是古老的,但佛教徒是现代的」,推动了龙泉寺里的高僧们搞科研、写代码,将佛学与新技术结合,将项目大众化、国际化。成果不断,屡上热搜,被外界持续关注。

近期龙泉寺的贤超法师,参加了国内某技术大会,分享了使用人工智能对《大藏经》进行整理和校勘的技术实践。

 佛系 AI 的诞生:让佛经更易读

贤超法师原是北京大学物理学院凝聚态物理硕士,2007 年他从北大毕业,2008 年在龙泉寺皈依,此后一直致力于龙泉大藏经的编修与佛学义理研究。

2016 年,AlphaGo 在战胜李世石的历史性事件,引起了贤超法师对 AI 的关注。从那时候起,他便开始尝试将 AI 和自己正在研究的 OCR 技术以及自动标点相结合。

贤超法师在 Techo Park 开发者大会上介绍其研究成果

 佛原生 AI 解决古籍经文痛点 

龙泉寺在整理和校勘的《大藏经》为佛教经典的总集,也称为一切经。在汉传佛教的两千多年里,历朝历代都对《大藏经》进行了翻译、增补、修订。

流传至今有数十个版本,少的有五千多字,多的有一亿两千万字。

《乾隆版大藏经》的修订参与官员、学者、高僧等 60 余人,

刻字、刷印和装帧等工匠 860 余人,历时六年完成

(图为《乾隆版大藏经》雕版)

2012 年,龙泉寺就着手整理《大藏经》,计划用整整十年的时间完成。因为传统方法对古籍的整理主要有版本校对、校勘、标点,这些步骤能够保证当代读者,也可以尽可能理解晦涩、生僻的经文。

三年后,龙泉寺整理出版了《南山八大部》;再次年,龙泉寺的藏经办公室成立,旨在探索利用人工智能技术,研发出基于深度学习的单字识别引擎;

2017年,龙泉寺成立人工智能与信息技术中心,研发出能识别各种不同大藏经版本的整列识别引擎,并成功的将《六十华严》的大藏经版本进行电子化。

贤超法师目前担任藏经办公室主任,负责《大藏经》的整理工作。

 自动标点:OCR +深度学习 

为了降低人们阅读古文典籍的门槛,提高学者的工作效率,在近年来贤超法师团队,运用了包括深度学习、OCR 在内的技术改变传统《大藏经》的解读方式,目前已经取得了颇为惊艳的效果。

现代汉语中,句号、引号、书名号等常用标点近十种,

古汉语中仅有的句号、顿号,经文中也很少出现,难以阅读

贤超法师介绍道,所谓自动标点,是指在没有人工干预的前提下,根据算法给古籍文本自动标注现代中文标点的技术,这主要是为了方便现代读者阅读。

此前,已有人工智能为古文加标点的相关研究,不过贤超法师表示,之前基本只是为古文加句号,他认为这个做法「比较保守,比较学术性」。

而他的团队将深度学习运用到了自动标点上,可以以更高的准确性,给古文添加句号、逗号、问号、感叹号、冒号、分号和顿号其中标点符号。经过验证,他们所研发的 Transformer 标注结果,和人类的标注结果「几乎已经无法区分」。

 RNN+LSTM+ResNet 效果全面提升 

自动标点,在 NLP 领域来说,就是一个简单的序列标注问题。解决这类问题的标准方法,就是使用循环神经网络(RNN)。

为了增强 RNN 的性能,在此基础上又发展出来了双向 RNN,也就是每一时刻的输出不仅仅取决于之前时刻的所有输入,而是同时取决于之前和之后的输入。之后,贤超法师团队又将 LSTM 方法引入。

但是此前基于这些技术所实现的自动标点,效果仍不是很令人满意。贤超法师团队之所以达到出乎意料的效果,是因为他们在此前的基础上,引入了 ResNet 残差网络(Residual network)。

团队 2019 年发表论文

《大藏经的汇编:当 AI 遇见佛教》,介绍了其自动标点技术

贤超法师解释道,以往的神经网络最多就是十几层、二十多层的结构,如果层数再多,训练结果就不太容易收敛了。而残差网络动辄几百层,甚至上千层。更深的网络有助于捕捉到更深层的语义信息,这是其大获成功的关键。

团队也曾尝试使用卷积神经网络(CNN),最终效果是,残差网络比卷积神经网络的标点准确率平均高出 20-30% 左右。

AI 自动标点工具效率如何呢?贤超法师用一天时间完成了 2 万字左右规模的古文标点,按照古籍标点每千字 15 元的一般稿酬水平,相当于一天创造了 300 元的经济价值。即使自动标点的准确率只按照 60% 来算,其每天也创造了 180 元的价值。

团队对该自动标点工具也在不断升级

目前最新一代的准确率达到 93.3%

目前,由于贤超法师团队的训练数据多取自佛经,因此其自动标点更适合标点佛教典籍。不过,他表示,未来该技术也将应用在,经史子集等更多领域的古文献整理工作之中,从而让学者们摆脱机械、重复性的劳动。

今后的古籍点校工作模式有希望改为:AI 先断句、加标点;专业学者进行后期校对、修改。

贤超法师团队在 18 年就开源了这一自动标点的在线服务,访问古籍·酷(http://gj.cool)可以试用,还可以申请免费调用 API。

 识别、翻译:AI 成为佛经汉化百宝箱

除了自动标点,贤超法师还将 AI 应用古籍研究的多个方面。

 文白对句:对齐 & 翻译 

文白对句,也就是古文到现代文的对齐和翻译。为了实现 AI 文白对句,贤超法师首先构建了一个文白对齐的语料库,然后设计了一个对齐算法,取得了很好的效果。根据相似度和差异度这两个独立指标,可以非常容易地定位出对齐错误的句子。

将《大藏经》翻译并单句分离开对齐

有助于人工后期检索与校对

由于《大藏经》专业名词众多,且历代翻译著作语料繁杂,因此并非古文相关专业就能搞定。《大藏经》的总字数以亿计,如果仅依靠有限的几位专家,工作量将十分巨大,所以,AI 的介入,为专家们分担了不少工作量。

 基于深度学习的 OCR,识别古籍文字 

目前市面上的 OCR 软件都是针对印刷体的,因此不能很好地识别古籍文献中的字体。

贤超法师及其合作团队,基于 CNN+LSTM+CTC 框架,开发了新的 OCR 引擎。然后基于《大藏经(高丽版)》的七万多张整图,168 万条文本行图像的数据集进行训练。

基于弱监督学习的精确文字分割

最终,其开发的 OCR 方法能够进行古籍的单字识别、单列识别和半自动的多列识别,能够有效地完成各类古籍的电子化工作。

OCR 软件识别古文将其数字化

贤超法师还在其公众号「贤超小和尚」(微信号:xianchaofashi)中,分享了更多项目实践和学佛感悟,感兴趣的朋友可以关注。

 科技与佛法:以悲悯为内核的不同外化

佛法与科技,距离并不遥远。

我们也曾在《本世纪,佛祖派机器人来弘扬佛法》一文中,对佛教与科技融合的趋势做出过报道,近年来涌现的贤二机器人、机器观音、智能佛珠等等,早已讲科技深刻和谐地融入进佛法。

科技与佛学的融合中佳作频出,吸引关注

龙泉寺的另一位知名高僧、IT 禅修营的创办者贤信法师,在一次访谈里被提问佛法和科技的关系。

他回答:「科技,是追求物质世界的真。佛法,是内心世界的真。很多在科学上做出探索、在技术上做出探索的人,最开始是抱着想为人类做贡献的心,跟佛教提出最慈悲的追求也是相共的,这就是科技与佛法的共同点。」

参考资料:

贤超小和尚公众号:《人工智能与中华文明的碰撞交融》

2050 云栖大会:《贤度法师——龙泉寺的科技实践》

龙泉寺自动标点工具:http://gj.cool/gjcool/index

—— 完 ——

扫描二维码,加入讨论群

获得更多优质数据集

了解人工智能落地应用

关注顶会&论文

回复「读者」了解详情

更多精彩内容(点击图片阅读)

Jiayan:甲言,专注于古代汉语(古汉语古文文言文文言)处理的NLP工具包,支持文言词库合成,分词,词性标注,断句和标点。Jiayan是为古典汉语设计的工具包,支持词典构建。 ,标记,POS标记,句子分段和标点符号 甲言Jiayan 简介 甲言,取“Oracle言”之意,是一种专注于古汉语处理的NLP工具包。目前通用的汉语NLP工具均以现代汉语为核心语料,对古代汉语的处理效果很差(详见)。本项目的初衷,便是辅助古汉语信息处理,帮助有志于挖掘古文化矿藏的古汉语学者,爱好者等更好的地分析和利用文言资料,从“文化遗产”中创造出“文化新产”。当前版本支持,,,和五项功能,更多功能正在开发中。 功能 利用无监督的双,以及左右进行文言词库自动生成。 利用无监督,无词典的和进行古汉语自动分词。 利用词库合成功能产生的文言词典,基于有向无环词图,句子最大概率路径和动态规划算法进行分词。 根据词的的序列标注,词性详见。 基 立即下载

相关推荐

HyperLynx实战:手把手教你搞定DDR4信号完整性仿真(附ODT与终端电阻配置避坑)

本文详细介绍了使用HyperLynx进行DDR4信号完整性仿真的实战技巧,重点解析了ODT配置与终端电阻优化的黄金法则。通过模型准备、拓扑构建、ODT扫描等关键步骤,帮助硬件工程师规避常见设计陷阱,提升高速数字电路设计的效率与可靠性。

weixin_30861797的博客 642

Paddle打比赛-古籍文档图像识别与分析算法比赛

古籍文档图像识别与分析算法比赛

m0_63642362的博客 2703

揭秘 Chat Template 如何驱动 AI Agent?以Qwen3为例详解LLM的聊天模板

bos_token: null (没有使用特殊的文档开始符)eos_token<|im_end|>(作为每个对话回合的结束符)pad_token: 对话回合开始<|im_end|>: 对话回合结束非特殊但关键的控制 Token (在词汇表中定义): 包裹模型生成的工具调用请求。: 包裹外部工具返回的执行结果。<think></think>: 包裹模型的内部思考或推理过程。

ljp1919的专栏 1355

基于深度学习LSTM的古代汉语切分标注算法及语料库研究

基于深度学习LSTM的古代汉语切分标注算法及语料库研究

1194

Android GNSS 可视卫星星空图/卫星天顶图 原理及画法介绍

目录1 概念介绍2 绘制步骤2.1 获取卫星信息2.2 绘制底图 效果图: 1 概念介绍 首先介绍一下方位角和高度角的概念: 方位角:是从某点的指北(地理北极)方向线起,依顺时针方向到目标方向线之间的水平夹角。 高度角:从一点至观测目标的方向线与水平面间的夹角。 卫星天顶图 即是根据每一颗卫星的方位角和高度角将其画在以观测位置为中心的天顶图上。 天顶图其底图为由外向内的三个圆和四条直线。三个圆由外向内依次代表高度角0°、30°、60°,中心点代表90°;四条直线分别表示正北-正南、东北-西南、正东

x1471898145的博客 1万+

图信号处理中的多尺度分析:图小波变换与图傅里叶变换的对比与应用

本文深入探讨了图信号处理中的多尺度分析方法,重点对比了图小波变换(GWT)与图傅里叶变换(GFT)的技术特点与应用场景。通过分析图的拓扑结构,GWT展现出强大的局部洞察力,适用于异常检测和社区发现;而GFT则擅长全局频率分析,适合趋势分析和信号去噪。文章结合实战案例,为读者提供了方法选型指南和前沿进展,帮助开发者在生物信息学、社交网络分析等领域高效应用这些技术。

weixin_30369041的博客 408

中国“古诗词”数据库还有可用的API

最近在做古诗相关的东西,做一个资源整理。都是在网上找到的,没时间去搜集。感谢大家~API:1. 极速数据api目前找到最好用的。里面挺详细的,解释、内容都有。够用 接口地址:http://api.jisuapi.com/tangshi/search apiKEY自己注册一下,python调用的demo:#!/usr/bin/python# e...

qq_38318303的博客 9641

电子电器架构 --- OEM企标中规定ECU启动时间的目的

电子电器架构 --- OEM企标中规定ECU启动时间的目的

Soly_kun的博客 225

佛教界siri,AI佛法无边:“阿弥陀佛” ?| Mixlab 跨学科

你不一定听说过龙泉寺,也不一定知道贤超法师,但你大概率应该看过,口头禅是:我去问问我师父,满载人性温暖的机器人贤二。或者,你刚好听过贤二聊天机器人的智慧箴言:贤二:佛教界的 siri这款聊...

shadowcz007的博客 1863

信奥赛C++提高组csp-s之数论基础专题课:从同余到分数模运算1(知识地图:同余、裴蜀定理、扩展欧几里得、乘法逆元、分数模运算)

信奥赛C++提高组csp-s之数论基础专题课:从同余到分数模运算1(知识地图:同余、裴蜀定理、扩展欧几里得、乘法逆元、分数模运算)

王老师青少年编程 792

PX4实战(四):PX4 uorb模块详解

本节主要讲解PX4中的uorb消息,主要包括uorb的基本概念使用、PX4内重要的uorb消息、如何自定义uorb消息以及使用uorb消息的注意点等,其中讲解重要uorb消息是为了对PX4内重要数据结构有初步的了解,有助于后期算法理解。uORB(micro Object Request Broker)是PX4中用于模块间通信的轻量级发布-订阅(Publish/Subscribe)机制。模块之间可以通过uORB传递消息,无需直接调用对方函数;提高系统模块化与解耦性;

PX4-SLAM-PNC 1933

龙泉寺贤超法师:用AI为古籍经书识别、断句、翻译

本文转载自:HyperAI超神经内容提要:来自最强科研寺庙龙泉寺的贤超法师,近年来一直在研究人工智能与文献古籍的融合,目前,他已带领的《大藏经》团队实现 AI 自动标点、文白翻译、古籍文...

阿木寺的博客 2474

Vue - 简约大气 404 页面

效果图 实现代码 复制即可。 <template> <div> <div class="error"> <!-- 图片可保存到本地 --> <img src="https://img-blog.csdnimg.cn/20210715111039922.png"> <p>抱歉!你访问的页面不存在或已删除 :( </p> <span class="back" @click="go(

🏆 前端领域优质创作者 3371

2021第一融!第四范式完成D轮7亿美元融资

来源丨第四范式头图丨来源于第四范式近日,第四范式宣布完成D轮融资,融资金额7亿美元。本轮融资由春华资本、博裕资本、厚朴投资领投,并引入国家制造业转型基金、国开、国新、中国建投、中信建投、...

AI科技大本营 885

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

驭势科技引入国家队战略注资,完成超10亿元人民币融资

2021年1月25日,驭势科技(UISEE)宣布完成累计金额超10亿元人民币的新一轮融资,并获得国开制造业转型升级基金的战略注资。这是国开制造业转型升级基金在自动驾驶领域的首笔投资。20...

AI科技大本营 642

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

2020长沙“科技之星”榜单重磅揭晓,近百家企业凭实力“出道”!

今天,「INFLUENCE·长沙2020年度“科技之星”企业评选」(下文统称「长沙科技之星」)圆满收官,评选结果正式揭晓!作为专业的 IT 社区,优快云 多年来与千万技术人员、技...

AI科技大本营 594

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

毕业设计-基于深度学习的古文字识别系统

毕业设计-基于深度学习的古文字识别系统:古文字作为记录古代历史、经济、文化、科学技术发展的瑰宝具有无穷无尽的 研究价值。在中国古代,古文字由于其不同的使用民族被分为以甲骨文为代表的古 汉字和以古彝文等为代表的少数民族古文字,它们一起组成了中国古文字的百花 园。中国古代早期的文字是典型的表形文字或者称象形文字,属于人类文字发展 最初阶段,其通过描述客观事物的外部形象来书写记录事件,其中的代表就是甲骨 文和古彝文。随着历史经济文化的发展,中国古文字也进行了相应演变,字形逐步 脱离事物的具体形象。从商周时期的甲骨

Hai_Lang_IT的博客 2456

深度学习系列讲座:谷歌翻译核心技术 Seq2Seq

GitChat 作者:邓侃 本文主要介绍的是 sequence to sequence ,这个技术主要是用来做文本理解、机器阅读方面的事情。

技术杂谈 5998

bert-ancient-chinese——专注于古汉语智能处理的BERT预训练模型

当下人工智能和数字人文浪潮风靡全球,现代汉语自动分析已取得很大成果,而古代汉语的自动分析研究相对薄弱。古汉语存在字词、词语、词类的诸多争议,资源建设困难重重。数字人文研究需要大规模语料库和高性能古文自然语言处理工具支持,本文通过在大规模古文语料上预训练得到专注于古汉语智能处理的预训练模型bert-ancient-chinese,其在下游任务的表现超过了现有的siku-bert等预训练模型。.........

Ji_Huai的博客 8274

对文档的正确断句

-webkit-line-clamp 是一个 不规范的属性(unsupported WebKit property),它没有出现在 CSS 规范草案中。 限制在一个块元素显示的文本的行数。 为了实现该效果,它需要组合其他外来的WebKit属性。常见结合属性: display: -webkit-box;必须结合的属性,将对象作为弹性伸缩盒子模型显示 。 -webkit-box-orie...

weixin_30622181的博客 452

音频文件按照正常语句,断句拆分的处理方法

关于录音文件断句分割的方法 起因 最近看讲座听在线英文电台的时候总有个想法, 讲座能不能自动记笔记? 电台能不能自动配中英文翻译对照字幕? 于是乎想用python写点东西 搜了一下语音识别API,注册了讯飞和百度了。 这里用了一下百度的(讯飞不上传身份证认证只能用100条,身份证没带在身边) 百度语音识别目前对文件有上传有格式要求: 1、 pcm格式。这个用ffmpeg转就好了,...

watfe的专栏 3万+

AI 问数真的能替代 BI 报表吗?

AI问数赋能自然语言查询,提升临时分析效率,但无法替代传统报表。报表适用于稳定输出与持续监控,AI则擅长探索性提问。企业用好AI问数,关键在于夯实数据模型、统一指标口径、健全权限体系与结果校验机制。合理组合报表、仪表板与AI,才能实现高效、准确的业务洞察。

葡萄城技术团队博客 338
上一篇: BDD100K:最经典大规模、多样化的自动驾驶视频数据集
下一篇: gradslam(∇SLAM)开源:论文、代码全都有
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论 15
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值