【多模态 & 文档智能】一次多模态大模型表格识别解析探索小实践记录

使用LM Studio与Anything LLM基于Llama-3高效构建本地知识库系统 另外,也可以选择openai或AnythingLLM,如果选择AnythingLLM,如下图所示,列表了其支持的大语言模型,选择了对应的模型点击“save changes“时,在后台会下载对应的大模型到本地。针对测试人员,可以在构建的大型模型和知识库问答应用中进行快速测试,并跟踪各个环节的结果,如embedding的召回结果是否覆盖所有知识点,可通过接口调用日志进行快速查看。针对业务专家和产品设计人员,即使不懂代码,也能快速构建产品原型,了解基于大型模型知识体系的构建过程,并能选型大语言模型。 阅读详情

表格识别作为文档智能的重要组成部分,面临着复杂结构和多样化格式的挑战。


关于表格识别在这里就不做过多的介绍了。

国庆期间,笔者利用一个较长的时间段,训练了一个多模态的表格识别模型,效果还不错,特此记录一下多模态的效果。

  • 训练资源:H100*8

  • 训练数据:200w table image - table html对(html的表示表格的优势,可以准确表示一些复杂表格,如合并单元格等,这点是mardown格式无法做到的。)

  • 模型参数量:7B

  • 自建测评数据TEDS:0.97~0.98

小总结:

  1. 训练数据质量大于一切,含大量数据的超长文本表格目前还不能准确识别,因为笔者训练的是max-length=8192。

  2. 模型参数量目前较大,推理速度比较慢。

效果记录: 下面的一些case来源于网络的表格截图。

case1


case2


case3


case4


case5


case6


程序员为什么要学大模型?

大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等问题热议不断。

事实上,抢你饭碗的不是AI,而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后,很多中小企业也陆续进场!超高年薪,挖掘AI大模型人才! 如今大厂老板们,也更倾向于会AI的人,普通程序员,还有应对的机会吗?

与其焦虑……

不如成为「掌握AI工具的技术人」,毕竟AI时代,谁先尝试,谁就能占得先机!

但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高。

针对所有自学遇到困难的同学们,我帮大家系统梳理大模型学习脉络,将这份 LLM大模型资料 分享出来:包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点,那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集,涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程(LLaLA/Meta/chatglm/chatgpt)

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1:AI大模型时代的基础理解

  • 目标:了解AI大模型的基本概念、发展历程和核心原理。

  • 内容:

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2:AI大模型API应用开发工程

  • 目标:掌握AI大模型API的使用和开发,以及相关的编程技能。

  • 内容:

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3:AI大模型应用架构实践

  • 目标:深入理解AI大模型的应用架构,并能够进行私有化部署。

  • 内容:

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4:AI大模型私有化部署

  • 目标:掌握多种AI大模型的私有化部署,包括多模态和特定领域模型。

  • 内容:

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)👈

​

Ollama 可以在 Windows 上运行了 阅读详情

相关推荐

Ollama入门教程:从安装到运行的完整指南

随着人工智能(AI)技术的快速发展,大型语言模型(LLMs)逐渐成为了各行各业的重要工具。然而,使用这些强大模型的同时,数据隐私、处理效率和部署复杂度等问题也逐渐浮现。为了解决这些问题,Ollama 提供了一种创新的解决方案——通过本地化部署大型语言模型,不仅能够增强数据隐私性,还能提高模型的运行效率。本文将详细介绍如何下载和安装 Ollama,如何选择和运行不同的语言模型,以及 Ollama 的特点、适用场景、优缺点等内容,帮助大家深入了解这一平台。ollama官网🚪 ollama官方文档🚪 根据自己

yoona333的博客 8293

最强开源大模型炸场!全网独一份AI大模型学习实践资源...(待会删)

最强开源大模型炸场!全网独一份AI大模型学习实践资源...(待会删)

Y525698136的博客 1658

AI技术雷达:多模态、智能体与模型效率的工程化实践

在人工智能领域,多模态大模型正朝着统一架构演进,通过将图像、音频等不同模态信息转化为统一的词元表示,实现跨模态的深度理解与生成。这一技术原理推动了智能体(Agent)从概念验证迈向工程化落地,核心挑战在于提升可靠性、优化效率与成本控制。知识蒸馏和MoE(混合专家模型)等模型压缩技术,通过在特定任务上定向增强或稀疏化激活,实现了小模型在性能与成本间的平衡。这些技术共同构成了当前AI应用开发的基础设施,尤其在文档分析、自动化流程等场景中,通过模块化设计和精细化成本监控,能够构建出高效实用的智能解决方案。

weixin_30512043的博客 416

本地LLM部署--LM Studio 初探秘

LM Studio提供了一个灵活、强大的平台,支持本地部署和微调LLM,适合对数据隐私要求较高的用户。未来可能增加更多本地化应用,如语音识别、视频分析等,随着硬件加速技术的发展,LM Studio的性能有望进一步提升,未来将支持更多的模型和插件,使得平台的适应性更强。它支持离线运行模型,并提供直观的界面,方便用户进行文本生成、模型微调和文档交互。LM Studio适合有一定技术背景的开发者和企业,特别是在数据隐私、模型微调和离线应用场景中具有独特的优势。

qq_43819568的博客 1万+

多模态OCR技术:融合视觉与文本的智能文档解析

OCR(光学字符识别)技术是文档数字化的核心工具,其发展经历了从单一文本识别到多模态解析的演进。现代OCR系统通过计算机视觉与自然语言处理的深度融合,实现了对文字、表格、图形等混合内容的联合处理。技术原理上,采用多任务学习框架和特征融合网络,动态平衡不同模态的贡献权重,其中SVG矢量图形生成技术是关键突破,将图形元素转化为可编辑代码而非静态图片。这种多模态方法在电子病历、法律合同、教育课件等场景展现巨大价值,不仅能提升解析准确率,还保留了文档的结构化信息和编辑能力。当前方案通过改进的ResNet-50和Ro

weixin_31062533的博客 254

【多模态处理篇五】【DeepSeek文档解析:PDF/Word智能处理引擎】

你知道吗?全球每天产生的PDF文档超过10亿份,但90%的上班族还在用复制粘贴的笨办法处理文档!DeepSeek文档解析引擎就像给你的电脑装上了"文档翻译官",能把PDF/Word里的文字、表格、公式甚至排版样式都变成AI能理解的"语言"。举个真实场景:法务小姐姐用这个工具处理200页的英文合同时,5分钟就能提取出关键条款、风险点、履约时间线,效率直接翻10倍!

商务合作|问题讨论|交流学习 请联系作者微信,加微信请务必注明来意,博客主页有联系方式 2224

【AI大模型应用】Youtu-Parsing+RAG实战:文档智能解析后直接喂给大模型,效率翻倍

本文介绍了如何在星图GPU平台上自动化部署Youtu-Parsing多模态文档智能解析模型,构建高效的文档处理流程。该模型能精准解析包含文字、表格、图表的复杂文档,其输出的结构化内容可直接用于RAG系统,从而快速构建企业知识库或进行智能文档分析,大幅提升信息处理效率。

weixin_42593549的博客 360

【项目】多模态RAG—本地部署MinerU实现多类文档解析

【摘要】开源工具MinerU由OpenDataLab团队开发,支持本地部署实现多类文档(PDF/Word/Excel/图片等)解析,可保留原始格式并转换为Markdown/JSON。该工具具备OCR识别、表格/公式转换、多语言支持等功能,适用于RAG、文档数字化等场景。项目通过API服务实现政策文件解析需求,将附件转为Markdown后再生成HTML展示,解决了政务问答系统中格式丢失问题。安装部署包含模型下载和Python服务端搭建,提供RESTful接口供其他系统调用。

一个内容严谨、方向前沿、极具实践价值的AI大模型技术分享站 2783

PDF 解析技术的进化:从识别字符到理解内容

厌倦了手动解析 PDF 的繁琐?本文深入揭示 PDF 文档的指令集本质,从文件结构解剖到 AI 解析技术演进,详解多模态融合与端到端架构如何实现智能文档理解,带您掌握从二进制代码到结构化数据的转换奥秘……

让企业不再为算力成本焦虑,让每分钱都花在刀刃上 1965

Flink项目基础配置指南

在大数据处理领域,Apache Flink凭借强大的实时流处理和批处理能力,成为众多开发者的首选工具。在日常工作中,开发Flink Jar任务是常见需求,但每次都需重复配置日志、梳理pom依赖、设置打包插件等,流程繁琐且易出错。为提升开发效率,减少重复劳动,将这些基础配置进行整理归纳十分必要。本文将围绕Flink项目的本地日志配置、pom依赖及插件配置展开详细介绍,为开发者提供一套可直接复用的基础配置方案,助力Flink项目高效开发。在Flink项目中,日志是了解任务运行状态、排查问题的重要依据。本地日志配

qq_42773076的博客 1210

5.13华为OD机试真题 新系统 - 社交网络相同爱好好友查询 (Java/Py/C/C++/Js/Go)

5.13华为OD机试真题 新系统 - 社交网络相同爱好好友查询 (Java/Py/C/C++/Js/Go)

算法大师! 155

从安装到API调用:MinerU文档解析完整实战教程

本文介绍了基于星图GPU平台自动化部署📑 MinerU 智能文档理解服务的方法。该镜像支持在CPU或GPU环境下高效运行,适用于模型微调与AI应用开发,可广泛应用于合同解析、论文提取等场景,助力非结构化文档的结构化处理与知识挖掘。

weixin_33480380的博客 3277

Python爬虫实战:利用最新技术高效爬取百度贴吧帖子内容

本文将详细介绍如何使用Python最新技术栈构建一个高效的百度贴吧爬虫,包括requests-html异步请求、BeautifulSoup4解析、数据存储到MongoDB以及应对反爬机制等完整解决方案。文章包含5000余字详细教程和完整代码实现。网络爬虫(Web Crawler)是一种自动获取网页内容的程序,广泛应用于搜索引擎、数据分析和内容聚合等领域。Python凭借其丰富的库生态系统成为爬虫开发的首选语言。贴吧作为中文互联网最大的兴趣社区,包含大量有价值的UGC内容。动态加载内容处理登录状态维持。

2201_76125261的博客 541

Spring AI与Qwen-VL模型实战:Java实现PDF文档智能解析与文字识别

本文详细介绍了如何使用Spring AI框架结合Qwen-VL模型实现PDF文档的智能解析与文字识别。通过Java技术栈,开发者可以高效处理包含复杂排版、表格和图片的PDF文档,提升工作效率。文章涵盖了技术选型、实战流程、性能优化及扩展应用场景,特别适合需要处理中文文档的企业级应用开发。

weixin_29038155的博客 123

第42篇FEDGLOSS算法BEYOND LOCAL SHARPNESS:COMMUNICATION-EFFICIENT GLOBALSHARPNESS-AWARE MINIMIZATIONFOR

:用上一轮伪梯度最小化锐度,获取与全局损失最相关的几何信息,引导全局优化趋向更平坦的最小值。效果对比分析:FEDGLOss。

weixin_74009895的博客 526

ansys license许可证问题:Ansys License Manager Release 2024 R1...如何解决?

🏆本文收录于 《全栈 Bug 调优(实战版)》 专栏。专栏聚焦真实项目中的各类疑难 Bug,从成因剖析 → 排查路径 → 解决方案 → 预防优化全链路拆解,形成一套可复用、可沉淀的实战知识体系。无论你是初入职场的开发者,还是负责复杂项目的资深工程师,都可以在这里构建一套属于自己的「问题诊断与性能调优」方法论,助你稳步进阶、放大技术价值 。

**My Coding Family** 5369

ChatExcel多模态表格生成技术解析与应用实践

多模态数据处理是AI领域的重要技术方向,其核心在于融合视觉、文本、语音等不同模态的信息。通过Transformer架构的跨模态编码器,系统能同步解析图像中的表格线、文字内容和语义图案。结合大语言模型的上下文理解能力,可实现从发票识别到会议纪要结构化的智能转换。这种技术在商务票据处理、竞品分析等场景展现显著价值,例如自动统一不同格式的日期字段,或从电商评论提取情感分析维度。ChatExcel的创新在于动态模板匹配机制,基于特征覆盖度和业务相似度智能选择最优表格结构,实测将数据整理效率提升10倍以上。

weixin_34007020的博客 298

《网络摄像机实战⑦:嵌入式端AWS KVS IoT SDK 库编译与测试全流程-君正/瑞芯微/全志(超详细指南)》

本文介绍了AWS音视频和物联网解决方案的核心组件与集成方法。主要内容包括:1)Amazon Kinesis Video Streams(KVS)提供的WebRTC托管服务,支持实时音视频流传输与双向交互;2)AWS IoT云服务实现设备连接与集成;3)详细说明了KVS WebRTC库的编译过程,包括源代码下载、CMake配置和依赖库生成;4)KVS Producer库的集成方法,重点阐述了存储空间调整和mbedtls版本适配等关键修改点。文章为开发者提供了AWS音视频和物联网服务的技术实现指南,特别针对嵌入

lvj_158的专栏 109

PaddleOCR-VL-WEB实战|实现表格、公式、文本精准识别与溯源

本文介绍了基于星图GPU平台自动化部署PaddleOCR-VL-WEB镜像的完整实践,实现对文档中表格、公式与文本的精准识别与溯源。该方案支持多语言内容解析,适用于企业知识管理、教育科研等场景,结合RAG技术构建具备语义理解与可视化定位能力的智能问答系统,显著提升文档处理效率。

weixin_33622085的博客 1264

2026年GESP3月认证C++五级真题解析

因为要合并成升序数组,所以当A[i]小于等于B[j]时,取A[i],否则取B[j]。当a[i]>a[j]时,左边数组中从i到m的所有元素都大于a[j],因此逆序对数量增加m-i+1。给定一个包含n个互不相同的正整数的数组A与一个包含m个互不相同的正整数的数组B,请你帮忙计算有多少个数在数组A与数组B中均出现。下面代码实现两个整数除法,其中被除数为一个“大整数”,用字符串表示,除数是一个小整数,用int表示,则横线处应该填写()。且a[i] > a[j],则a[i]和a[j]是一个逆序对。

lan_in的博客 118

基于Simulink的双向DC-DC变换器在储能系统中的应用仿真

摘要:本文详细介绍了基于Simulink的双向DC-DC变换器在光伏储能系统中的仿真实现。主要内容包括:1)采用非隔离型双向Buck-Boost拓扑作为储能系统枢纽;2)针对750V直流微网中的20kWh锂电池接口场景进行建模;3)详细阐述双闭环控制器设计(电压外环+电流内环)、工作模式判断逻辑等关键步骤;4)通过仿真验证了系统在功率阶跃和模式切换下的性能。文章提供了完整的建模流程和控制方法,为储能系统接口设计提供了实用参考。

amy_mhd的博客 179

腾讯优图文档解析模型上手体验:一键识别表格公式,小白也能快速部署

本文介绍了如何在星图GPU平台上自动化部署Youtu-Parsing多模态文档智能解析模型,实现高效文档数字化处理。该模型能精准识别表格、公式等复杂元素,适用于企业合同解析、科研论文公式提取等场景,大幅提升文档处理效率。

weixin_42591413的博客 78

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

OCR进阶:从文字识别到文档解析的Skills架构与实战

光学字符识别(OCR)是计算机视觉领域的基础技术,其核心原理是通过算法将图像中的文字转换为可编辑的文本数据。传统OCR技术解决了“看见”文字的问题,但在处理复杂版式、表格和关键信息提取时面临瓶颈。随着深度学习的发展,文档解析技术应运而生,它通过引入“Skills”模块化架构,赋予OCR系统理解文档逻辑结构和语义的能力,从而在金融票据处理、合同审核、档案数字化等场景中创造巨大价值。本文聚焦于文档结构理解(DSU)与关键信息提取(KIE)等核心概念,深入探讨了如何构建一个由表格解析、KIE、文档分类等Skill

weixin_33884611的博客 443

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

PasteMD与深度学习结合:智能文档格式识别进阶

本文介绍了如何在星图GPU平台上自动化部署PasteMD剪贴板智能美化工具镜像,实现智能文档格式识别与转换。该工具结合深度学习技术,能精准处理复杂表格、数学公式等混合内容,显著提升从AI平台复制内容到Word等文档的格式保持效率。

weixin_32687875的博客 318

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

零基础入门文档理解:MinerU智能解析保姆级教程

本文介绍了基于星图GPU平台自动化部署📑 MinerU 智能文档理解服务镜像的完整流程。该平台支持一键拉取镜像并快速启动服务,适用于本地化文档解析场景。MinerU 可精准提取PDF、扫描件中的表格、公式与图文内容,典型应用于AI知识库构建、学术论文解析及财务报表分析,显著提升非结构化数据处理效率。

weixin_35755434的博客 277
上一篇: 大模型理论基础(so-large-lm)+《开源大模型食用指南》助你速通大模型!(文档分享)
下一篇: Git开源爆火教程推荐:llm-action+开源大模型食用指南 (附课件教程)
Llama-Turbo
博客等级 码龄4年 9901粉丝 2022原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值