自然语言处理:第八十七章 微软开源MarkitDown,RAG文档解析就这么解决了~

本人项目地址大全:Victor94-king/NLP__ManVictor: 优快云 of ManVictor


写在前面: 笔者更新不易,希望走过路过点个关注和赞,笔芯!!!

写在前面: 笔者更新不易,希望走过路过点个关注和赞,笔芯!!!

写在前面: 笔者更新不易,希望走过路过点个关注和赞,笔芯!!!


RAG有这么一个说法:“垃圾进,垃圾出”,文档解析与处理以获取高质量数据至关重要。近期,微软开源了 MarkItDown ,一款将各种文件转换为 Markdown 的实用程序(用于索引、文本分析等)。

图片

https://x.com/shao__meng/status/1867348058662744236

MarkItDown支持

  • PDF
  • PPT
  • Word
  • Excel
  • 图像(EXIF 元数据和 OCR)
  • 音频(EXIF 元数据和语音转录)
  • HTML
  • 基于文本的格式(CSV、JSON、XML)
  • ZIP 文件

MarkItDown使用

使用 pip: pip install markitdown。或者,从源代码安装它:pip install -e .

Python中的基本用法:

from markitdown import MarkItDown 
md = MarkItDown() result = md.convert("test.xlsx") 
print(result.text_content)

要使用大型语言模型进行图像描述,请提供llm_client和llm_model:

from markitdown import MarkItDown 
from openai import OpenAI client = OpenAI() 
md = MarkItDown(llm_client=client, llm_model="gpt-4o") 
result = md.convert("example.jpg") print(result.text_content)

MarkItDown试用

https://www.html.zone/markitdown/

图片

https://github.com/microsoft/markitdown
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

曼城周杰伦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值