Oemer：端到端的光学音乐识别系统

Oemer：端到端的光学音乐识别系统

oemer End-to-end Optical Music Recognition (OMR) system. Transcribe phone-taken music sheet image into MusicXML, which can be edited and converted to MIDI. 项目地址: https://gitcode.com/gh_mirrors/oe/oemer

项目介绍

Oemer 是一个基于深度学习和机器学习技术的端到端光学音乐识别（OMR）系统。它能够从倾斜或手机拍摄的照片中转录音乐符号，特别针对西方音乐符号进行了优化。Oemer 的核心功能是将输入的图像转换为 MusicXML 文件，并生成分析后的图像元素。

项目技术分析

Oemer 的技术架构主要包括以下几个部分：

1. 模型训练：

   • 使用两个 UNet 模型进行图像语义分割，分别用于分离五线谱和其他符号，以及更详细的符号类型（如音符头、谱号、符干、休止符等）。
   • 训练数据集包括 CvcMuscima-Distortions 和 DeepScores-extended。
   • 训练过程中使用了多种图像增强技术来提高模型的鲁棒性。

2. 模型预测：

   • 首先使用第一个模型预测五线谱和其他符号。
   • 然后使用第二个模型预测更详细的符号信息。
   • 使用 SVM 模型对预测的符号进行分类。

3. 图像校正：

   • 在进行符号识别之前，需要对图像进行去倾斜处理，以确保五线谱水平对齐。

4. 五线谱提取：

   • 提取五线谱信息，计算五线谱的间隔（unit_size），这是后续步骤的基础。

5. 音符头提取：

   • 提取音符头信息，并根据五线谱的间隔进行校正，以确保音符头的准确识别。

项目及技术应用场景

Oemer 适用于以下场景：

• 音乐教育：教师和学生可以使用 Oemer 快速将手写或打印的音乐符号转换为可编辑的 MusicXML 文件，便于进一步学习和编辑。
• 音乐出版：音乐出版商可以使用 Oemer 自动化音乐符号的数字化过程，提高工作效率。
• 音乐研究：研究人员可以使用 Oemer 对大量音乐符号进行自动化分析，加速研究进程。

项目特点

• 端到端解决方案：Oemer 提供了一个完整的端到端解决方案，用户只需输入图像，即可获得转录后的 MusicXML 文件和分析图像。
• 支持倾斜和手机拍摄：Oemer 能够处理倾斜或手机拍摄的图像，确保转录的准确性。
• 多种模型支持：Oemer 支持使用 Onnxruntime 和 Tensorflow 进行推理，用户可以根据需求选择合适的模型。
• 开源免费：Oemer 是一个开源项目，用户可以免费使用并根据需要进行定制和扩展。

通过 Oemer，您可以轻松地将音乐符号转换为可编辑的 MusicXML 文件，无论是用于教育、出版还是研究，Oemer 都能为您提供强大的支持。快来尝试吧！

oemer End-to-end Optical Music Recognition (OMR) system. Transcribe phone-taken music sheet image into MusicXML, which can be edited and converted to MIDI. 项目地址: https://gitcode.com/gh_mirrors/oe/oemer