含 14 万张图像!华中科技大学发布高质量甲骨文数据集,助力团队摘冠 ACL 最佳论文

博物馆文物检测——基于OpenHeritage数据集的YOLOv10深度学习方案与实时UI界面实现 OpenHeritage数据集是一个面向文化遗产领域的公开数据集,包含了大量博物馆文物图片,涵盖陶瓷、青铜器、雕塑、绘画等多种类别。每张图像配有精确的标注框和类别标签,适合用于目标检测模型训练。数据集网址(示例链接,请根据实际情况替换)数据量:约3000张高分辨率图像类别数:10类文物(陶瓷、青铜器、玉器、书画、雕塑等)标注格式:COCO风格JSON,含边界框坐标和类别标签目标检测任务旨在识别图像中的所有目标物体,并精确定位其边界框。两阶段检测器。 阅读详情
AI摘要

甲骨文破译颇具挑战,人工智能为其研究带来新思路。华中科技大学白翔教授团队提出高质量的HUST - OBC数据集,通过半自动化流水线完成数据获取、标注、整合和验证。此外,团队基于相关数据集训练出条件扩散模型OBSD用于甲骨文破译,其成果获ACL 2024最佳论文奖。

以史观今,一直以来,人们从未停止对历史史实的探寻,而文字无疑是历代文明存活的最佳印记,更是了解其发展历程的途径。甲骨文 (OBS) 是我国已知最早且成系统的文字形式之一,可以追溯到约 3,000 年前,承载着中华民族一脉相承的文化。

近年来,陆续有甲骨文遗迹出土,其中记录的内容丰富,包括天文学、气象学、畜牧业、宗教和仪式等方面。与其他古代文字类似,许多甲骨文字的含义已随时间流逝而失传。在已出土的 16 万片甲骨中,发现了超过 4,600 个不同的甲骨文字,但只有约 1,500 个甲骨文字的含义和对应的现代汉字得到了确认。

甲骨文字符层面的破译任务由于多种因素而变得复杂。过去的保存及发掘方法欠妥,导致许多甲骨受损,这种损坏通常导致铭文部分模糊或难以辨认,增加了研究人员的破译难度。因此,目前甲骨文研究中使用的大多数图像都是经过去噪和处理的扫描图像或人工转录而来的图像。此外,作为早期文字系统,甲骨文字经历了显著的演变,字符的形式存在很大差异,许多字符虽然外形不尽相同,但对应同一个汉字,这种变异性增加了破译过程的复杂性。

不难发现,诸多因素使得全面理解甲骨文字颇具挑战性,但即便是单个文字的破译都会对历史学研究意义重大, 道阻且艰,这也激发了古代中国研究领域学者和历史学家的浓厚兴趣。

在这里插入图片描述

考古发现的距今 3,000 年的甲骨文

人工智能的出现为研究人员理解这门古老的语言提供了全新思路,AI 辅助破译甲骨文成为可能。但正如 AI 在其他行业中的应用,全面且高质量的数据集必不可少。目前,甲骨文领域已经出现了 OBI-100、OBI-125、Oracle-20k、HWOBC 等优质数据集,但是仍存在一定的局限性,例如数据来源单一、类别与样本有限;仅含已破译的甲骨文,无法进行破译任务;数据集质量差,噪声多或是形式单一。

针对于此,华中科技大学白翔教授研究团队的王鹏杰等人,提出了高质量的 HUST-OBC 数据集, 从 3 种不同的来源收集,包括书籍、网站和现有数据集。该数据集包含两种类型的甲骨文样本图像,其一是从原始甲骨文拓片的处理扫描中获取甲骨文图像,其二是基于原始甲骨的手写甲骨文图像,进一步细分为基于拓片描摹的图像和基于字形的手写图像。

在这里插入图片描述

HUST-OBC 与其它数据集对比

该研究以「An open dataset for oracle bone script recognition and decipherment」为题,被 Scientific Data 录用。

论文地址:

https://arxiv.org/abs/2401.15365

数据集直接下载:

https://go.hyper.ai/46AiA

开源项目「awesome-ai4s」汇集了百余篇 AI4S 论文解读,并提供海量数据集与工具:

https://github.com/hyperai/awesome-ai4s

多来源收集数据,构建半自动化流水线

为了构建多样化的数据集,研究人员从 3 个不同来源收集甲骨文图像,即书籍、网站和数据集。 为了组织和合并这些不同来源的数据,如下图所示,通过一个半自动化的流水线进行数据获取、自动标注、数据整合和数据验证 4 个关键步骤。

在这里插入图片描述

构建 HUST-OBC 数据集的流程图

数据获取

甲骨文刻写在龟甲和兽骨上,并被埋藏在地下超过 3,000 年,这些珍贵的文物散落在世界各地的博物馆和私人收藏中,被精心保存,因此直接获取原始甲骨文上的文字相当具有挑战性。为了克服这一困难,研究人员利用了专家转录的甲骨文图像,通过扫描权威书籍、爬取学术网站、引入数据集,获得丰富且多样的甲骨文数据。

在这里插入图片描述

数据获取并处理

自动标注

收集到的原始数据需要进一步处理,如裁剪、注释和筛选。对于书籍来源的数据,由于书籍中甲骨文对应的汉字相对偏僻少见,现有 OCR 工具难以精准识别。研究人员训练了近 9 万种汉字 OCR 模型自动识别汉字标签,网站和数据库的图像已经经过预处理,只需进行过滤和代码匹配。

在这里插入图片描述

自动标注中文字 OCR 方法

数据整合

不同来源的注释标准可能不同,导致相同的甲骨文字符被归类到不同的类别中,比如注释汉字异体字导致的冗余类别。通过训练无监督的视觉对比学习模型 MOCO,将相似的样本合并到同一类别中,减少冗余类别。

在这里插入图片描述

数据整合中对比学习

数据验证

自动数据获取和注释过程中可能存在错误,研究人员邀请甲骨文学者进行人工审查和指导,确保数据的准确性,最终形成 HUST-OBC 数据集。

研究人员最终构建的 HUST-OBC 数据集包含 1,588 个已破译字符的 77,064 张图像和未破译的 62,989 张图像,总共 140,053 张图像。 以下是已破译和未破译的部分数据展示。

在这里插入图片描述

已破译和未破译的部分甲骨文示例图像

为了评估数据集的质量, 使用该数据集训练 AI 模型,将已破译的部分按照 8:1:1 分为训练集、验证集和测试集,使用 ResNet 进行图像分类任务,最终分类准确率为 94.6%,宏平均 F1 分数为 0.914。部分结果如下:

在这里插入图片描述

甲骨文示例的分类指标

团队深耕甲骨文,通力合作摘冠 ACL 最佳论文

华中科技大学在甲骨文研究方面一直以来都立于时代的最前沿,是国内最早建设自主甲骨文字库的和高校之一。当 AI 浪潮重塑传统科研,白翔教授为代表的研究学者再度成为了 AI 赋能甲骨文研究的拓荒者、探路者。

白翔教授现任国家杰青、IAPR Fellow,现任华中科技大学软件学院院长、机器视觉与智能系统湖北省工程研究中心主任等职务。日前,白翔教授带领团队发布的「Deciphering Oracle Bone Language with Diffusion Models」荣获 ACL 2024 最佳论文奖。

该研究基于 HUST-OBS 数据集和 EVOBC 数据集,利用基于图像的生成模型,训练出了一种针对甲骨文破译优化的条件扩散模型 Oracle Bone Script Decipher (OBSD),该模型利用甲骨文的不可见类别 (unseen categories) 作为条件输入,以生成对应的现代汉字图像,为自然语言处理难以解决的古文字识别任务提供了一种新颖的方法。

在这里插入图片描述

甲骨文译码的条件扩散模型

评估实验结果显示,通过 OBSD 方法输入甲骨文能够产生最准确的现代汉字破译,并且能够辨别甲骨文的复杂细节,这些结果不仅突出了 OSBD 的有效性,还突显了它作为甲骨文语言破译专家工具的潜力。

抽奖赠书

在这里插入图片描述

HyperAI超神经联合电子工业出版社为大家带来了赠书福利!我们准备了 5 本超干货科普图书「AI for Science:人工智能驱动科学创新」,快来参与抽奖吧~

参与方式

关注 HyperAI超神经公众号,并在后台回复「AI4S赠书」,点击抽奖页面参与抽奖,我们共为大家准备了 5 本图书,快递包邮送到您手中,快来参与吧!

图书简介

从预测蛋白质结构,到推测基因突变的致病性,AI 引领的新范式已经让我们看到包括生命科学在内的各个科学领域的新机遇。

「AI for Science:人工智能驱动科学创新」一书聚焦于人工智能与材料科学、生命科学、电子科学、能源科学、环境科学五大领域的交叉融合,通过深入浅出的语言,对基本概念、技术原理和应用场景进行了全面的介绍,让读者可以快速掌握 AI for Science 的基础知识。此外,对于每个交叉领域,本书通过案例进行了详尽的介绍,梳理了产业地图,并给出了相关政策启示。

历史建筑风格分类数据集 该数据集纯属本人手工收集,收集不易,还望大家多多支持,本人慈悲为怀,只收取1个币作为本人的辛苦费,若有问题,请联系本人qq779551378 立即下载

相关推荐

文物目标检测数据集.zip

数据集介绍:文物目标检测数据集 一、基础信息 数据集名称:文物目标检测数据集 图片数量: - 训练集:5,672张 - 验证集:1,612张 - 测试集:812张 总计:8,096张图片 分类类别: - Di vat(文物):适用于文化遗产保护、考古研究等场景中的文物目标识别。 标注格式: YOLO格式标注,包含目标边界框坐标及类别标签,可直接用于目标检测模型训练。 数据特性: 包含俯视角度及多角度拍摄样本,适用于航空摄影、博物馆数字化等应用场景。 二、适用场景 文化遗产数字化: 支持构建文物自动识别系统,助力博物馆藏品数字化管理和三维重建预处理。 考古现场分析: 应用于考古发掘现场的快速文物识别定位,提升野外作业效率。 文物保护监测: 集成至安防监控系统,实时检测文物位移或异常状态。 教育研究应用: 作为文物识别教学资源,支持文化遗产保护相关学科的教学实践。 三、数据集优势 专业场景覆盖: 专注文物识别领域,样本涵盖不同材质、形态的典型文物特征。 多角度采集样本: 包含俯拍、侧拍等多种拍摄角度,提升模型在复杂场景下的检测鲁棒性。 高适配性标注: 原生YOLO格式标注兼容主流检测框架(YOLOv5/v7/v8等),支持快速部署训练。 数据规模优势: 8,096张标注样本满足中等规模检测模型的训练需求,平衡训练效率与准确性。 文化遗产价值: 为文物数字化保护提供关键数据支撑,助力人工智能在文化遗产领域的技术落地。

项目实训 No.2

项目实训 6月29日 阅读甲骨文提取文献 1.https://d.wanfangdata.com.cn/conference/8147619 先通过建立甲骨文字形动态描述库(Dynamic Description Library for Jiaguwen Characters,以下简称DDLJC),使用有向笔段和笔元对甲骨文字形进行动态的矢量化描述[12],然后在字形骨架上找出特征点,最后通过特征点进行量化和存储,实现了甲骨文字的字形编码,以后的字形的编辑和输出都是由特征点来动态的生成甲骨文字 2.http

weixin_43844944的博客 1947

计算机视觉之图像数据集:甲骨文图像数据集

1020 张甲骨文文字图片,可以输入到生成对抗网络中,以生成用于创建现代艺术的类似角色。

数据集——文物分类

根据文物的各种特征,对文物进行分类——机器学习。

m0_71559726的博客 902

深度学习-甲骨文图片数据集

深度学习—甲骨文图片数据集 甲骨文图片数据集,可应用于计算机视觉的研究。该数据集可以输入到生成对抗网络中,以生成用于创建现代艺术的类似角色。包含1020张甲骨文图片。

76个甲骨文字符识别图像数据集可用于毕业设计大作业等

## 数据集概览 - **内容**:76个甲骨文字符的高清图像,每字符样本量60~2000不等,总计约40000张。 - **数据分布**: 数据不平衡 - **标注格式**: 每个目录命名为对应文字 ## 关键特征 **多样性**:涵盖高频字与罕见字 **真实性**:保留甲骨裂纹、拓片噪声等真实干扰

毕业设计-基于深度学习的古文字识别系统

毕业设计-基于深度学习的古文字识别系统:古文字作为记录古代历史、经济、文化、科学技术发展的瑰宝具有无穷无尽的 研究价值。在中国古代,古文字由于其不同的使用民族被分为以甲骨文为代表的古 汉字和以古彝文等为代表的少数民族古文字,它们一起组成了中国古文字的百花 园。中国古代早期的文字是典型的表形文字或者称象形文字,属于人类文字发展 最初阶段,其通过描述客观事物的外部形象来书写记录事件,其中的代表就是甲骨 文和古彝文。随着历史经济文化的发展,中国古文字也进行了相应演变,字形逐步 脱离事物的具体形象。从商周时期的甲骨

Hai_Lang_IT的博客 2456

手把手教你用yt-dlp批量下载YouTube视频数据集(附TikTok/Kaggle资源)

本文提供了一份构建视频数据集的实战指南,重点介绍了使用yt-dlp工具批量下载YouTube视频的高级技巧,包括环境配置、批量参数设置与自动化脚本。同时,文章还整合了TikTok、Kaggle及学术开源数据集等多源高质量视频资源,并分享了数据清洗、格式统一与管理的完整流程,帮助研究者和开发者高效获取与处理训练数据。

weixin_29057237的博客 294

含 14 万张图像!华中科技大学发布高质量甲骨文数据集,助力团队摘冠 ACL 最佳论文...

本文约2500字,建议阅读8分钟 当 AI 浪潮重塑传统科研,白翔教授为代表的研究学者再度成为了 AI 赋能甲骨文研究的拓荒者、探路者。作者:王鹏杰编辑:十九,李宝珠华中科技大学白翔教授研究团队的王鹏杰等人,提出了高质量的 HUST-OBC 甲骨文数据集,从书籍、网站和现有数据集这 3 种不同的来源来收集,最终数据集包含 1,588 个已破译字符的 77,064 张图像和未破译的 62,989 张...

数据派THU 752

复用浏览器之跳过扫码登录

复用浏览器 1、通过命令启动浏览器:chrome --remote-debugging-port=9222(前提是退出所有的chrome浏览器) 2、启动浏览器之后,在地址栏输入127.0.01:9222,成功复用如下图所示:

qq_43911915的博客 2036

CPLD新手必看:安路EF2系列配置与烧录的避坑指南(含完整流程)

本文为CPLD新手提供了安路EF2系列芯片从硬件设计到软件烧录的完整避坑指南。重点解析了电源系统、时钟复位、JTAG接口等关键电路设计要点,并详细介绍了使用TD软件进行工程创建、代码编写、引脚分配及程序烧录的全流程,帮助开发者快速上手并规避常见问题。

weixin_29217235的博客 358

【Python爬虫】利用BeautifulSoup处理html/xml格式古文数据库(论语、老子、庄子、韩非子等)并用pandas将其转换成csv格式

最近遇到了与古文NLP有关的任务,在这里记录一下用beautifulsoup处理html格式的古文数据集的过程。 古文数据来源于中文核心典籍CCT,链接:中文核心典籍这个网站中提供了包括《周易》、《论语》、《老子》、《韩非子》等在内的中国古文典籍。 点击“下载全部”后会得到一个包含所有典籍的文件夹,其中对于每一部典籍又是一个单独的文件夹,里面存放了html格式的各章原文。文件结构如下: 下面使用beautilfulsoup来进行解析: from bs4 ...

boomap的博客 690

汇川PLC用户程序结构详解:如何像搭积木一样配置多任务?附EtherCAT最佳实践

本文深入解析汇川PLC用户程序结构,阐述如何像搭积木一样,通过POU、FB、FC等模块化组件高效配置多任务。文章重点结合EtherCAT通讯场景,分享了任务周期、优先级设置的最佳实践与关键避坑指南,帮助工程师构建稳定、高效的运动控制系统。

weixin_29184075的博客 542

基于LeNet与YOLOV8在2024年mm杯甲骨文图像文字识别数据集研究

本文只是提供一种参考思路且对对应数据集进行了处理。在进行相关的图像识别中,最让人头疼的应该是数据集,例如本次比赛的数据集处理起来较为复杂,如果不熟悉YOLO数据类型,以及对应关系转化,难以将题目进行。同时作者参与此次比赛收获颇多,虽然是赛后补救,但也希望提供给大家一种思路,以及运用YOLOV8的细节。YOLOV8运行需要用所需的YOLO TXT类型文件,(即txt文件名为图像文件名,且txt文件中装有标签类与信息框数据)

lugushiminchao的博客 2098

从混乱到清晰:用QJsonObject重构你的Qt网络API数据解析层(避坑指南)

本文详细介绍了如何使用QJsonObject重构Qt网络API数据解析层,避免常见的JSON解析陷阱。通过安全解析模式、数据绑定和性能优化技巧,帮助开发者构建高效、健壮的解析逻辑,提升代码可维护性和可读性。特别适用于处理复杂嵌套的JSON响应数据场景。

weixin_29011667的博客 231

C语言实现TCP聊天室:Socket编程与并发模型实战解析

网络编程是构建分布式系统的核心技术,其核心在于理解进程间通信的底层机制。TCP/IP协议栈提供了可靠的字节流传输服务,通过Socket API这一抽象接口,开发者可以在应用层建立连接、收发数据。为了高效处理多个并发连接,服务器需要采用多线程或I/O复用模型,前者为每个连接创建独立线程,逻辑清晰但资源消耗大;后者通过select、poll或epoll等系统调用监控多个文件描述符,显著提升并发能力。这些技术是构建高性能网络服务(如即时通讯、在线游戏服务器)的基础。本文以C语言实现一个简洁的TCP聊天室为例,详细

weixin_32642109的博客 292

开源开放 | 一个用于文言文实体识别与关系抽取等任务的开源数据集C-CLUE(CCKS2021)...

OpenKG地址:http://openkg.cn/dataset/c-clueGitHub地址:https://github.com/jizijing/C-CLUE网站地址:http:/...

开放知识图谱 5255

Kriging克里金模型实现数据回归预测Matlab代码

Kriging克里金模型实现数据回归预测Matlab代码

天天酷科研的博客 608

甲骨文字符识别图像数据集分享

甲骨文数据在公开数据集中较为罕见,尤其包含76个字的细分类别,对古文字数字化研究有重要意义,本次分享的数据集字频不均(160~2000/字)真实反映甲骨文实际出现频率,适合研究不平衡数据学习和少样本识别。- **内容**:76个甲骨文字符的高清图像,每字符样本量60~2000不等,总计约40000张。**真实性**:保留甲骨裂纹、拓片噪声等真实干扰。- **标注格式**: 每个目录命名为对应文字。- **数据分布**: 数据不平衡。**多样性**:涵盖高频字与罕见字。

qq_36193423的博客 586

AI Agent驱动的多模态情感分析方法:从BERT到Vision Transformer的探索

情感分析(Sentiment Analysis)是自然语言处理(NLP)与计算机视觉(CV)中一项重要任务。传统的情感分析主要依赖于文本数据,但在现实应用中,情感往往通过 语言、语音、表情、姿态 等多模态信号共同传达。因此,结合 多模态深度学习 的 AI Agent 在情感理解中具有广阔的前景。

一键难忘的博客 740

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

GitHub开源的最全中文诗歌古典文集数据库

GitHub开源的最全中文诗歌古典文集数据库 在线体验四大名著情景(地图、游戏)

qq_44597856的博客 2513

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

基于深度学习和opencv的甲骨文识别系统

本文最后带有下载链接。如有需要可自行下载!!! 运行界面: 识别结果: 本文一共可识别1135个甲骨文,数据集已经放到下载链接中: 下面是代码部分: 读取数据: import cv2 as cv import os import numpy as np f=open('lab.txt',encoding='utf-8') lines=f.readlines() f.close() split=0.2 np.random.seed(10) np.random.shuffle(lines) bb=in

qq_45087786的博客 2577

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

AI生物制药论文解析|An open dataset for oracle bone character recognition and decipherment-water-merged

本文介绍了HUST-OBC数据集的创建,旨在为甲骨文字符(OBC)的识别和破译提供高质量的数据支持。甲骨文是中国最早的书写形式之一,具有重要的历史和文化价值,但由于时间的推移,许多字符的含义已被遗忘,给研究带来了挑战。HUST-OBC数据集包含77,064张已破译字符的图像和62,989张未破译字符的图像,总计140,053张图像,数据来源多样。该数据集的构建采用了半自动化流程,经过专家审核,确保数据的准确性和可靠性。希望HUST-OBC能够激励和支持未来的AI辅助甲骨文研究。

haimianxiaobao11的博客 1152

大型古诗词数据集的分析与管理

数据集路径如下:/data/shixunfiles/54efe04023cbc923b7feabbac5583f90_1607394157288.csv。一、编程前的准备工作。

学习只是用户态 1509

AI 问数真的能替代 BI 报表吗?

AI问数赋能自然语言查询,提升临时分析效率,但无法替代传统报表。报表适用于稳定输出与持续监控,AI则擅长探索性提问。企业用好AI问数,关键在于夯实数据模型、统一指标口径、健全权限体系与结果校验机制。合理组合报表、仪表板与AI,才能实现高效、准确的业务洞察。

葡萄城技术团队博客 341
上一篇: 上海交大洪亮教授:AI 真要突破工程领域,一定要做到现有人类专家做不到的工程成果
下一篇: 【TVM 教程】构建图卷积网络
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值