文件内容+图片内容自动识别，建库索引查找的内部系统（点赞过1000 公开github）

已于 2025-07-27 18:37:37 修改
阅读量506 收藏 25
点赞数 8
CC 4.0 BY-SA版权
文章标签： github jvm
于 2025-07-26 21:03:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Sliphades/article/details/149672024

文件索引和搜索系统 (IFD - Intelligent File Discovery)

在这里插入图片描述

在这里插入图片描述
扫描支持多种ocr直接把图片内容拾取
在这里插入图片描述
文件检索扫描后（耗时，特别图片识别，中文准确率选paddle，easyocr 中等，Tesseract 低一些，可能我没优化的缘故），入系统库后，直接搜索关键字，可以找到图片上出现过的文字内容，并找到相关文件在哪里。
应用场景：找文件，凭印象找文件，支持TXT, DOC/DOCX, PDF, PPT/PPTX, Excel，JPG, PNG, GIF, BMP (支持中英文)文档内，基本100%可以导入系统，图片识别不敢保证，但基本够用。

文件索引和搜索系统 (IFD - Intelligent File Discovery)

一个智能的文件索引和搜索系统，支持多种文件格式的内容识别和全文搜索。

📋 目录

🚀 功能特性

📁 文件扫描

  • 支持递归扫描指定目录
  • 自动识别文件类型
  • 智能跳过: 基于文件指纹的增量扫描，避免重复处理
  • 支持进度显示和实时反馈

🔍 内容识别

  • 文档处理: TXT, DOC/DOCX, PDF, PPT/PPTX, Excel
  • 图片OCR: JPG, PNG, GIF, BMP (支持中英文)
  • 模块化设计: 可轻松更换识别引擎

🗄️ 数据库管理

  • 使用SQLite数据库
  • 自动创建表结构和索引
  • 支持文件哈希去重
  • 内容全文索引
  • 数据库备份和恢复
  • 数据库优化和清理
  • 文件同步检查: 自动检测和修正数据库与物理文件的不一致

🔎 搜索功能

  • 全文搜索
  • 按文件类型搜索
  • 按时间范围搜索
  • 按文件路径搜索
  • 智能内容预览
  • 相关度排序
  • 高级过滤: 多文件类型、时间范围、排序选项

🌐 Web界面

  • 现代化界面: 响应式设计，支持移动端
  • 实时搜索: 输入关键词即时搜索
  • 高级过滤: 文件类型、时间范围、排序选项
  • 结果预览: 文件内容预览
  • 导出功能: CSV格式导出搜索结果
  • 系统管理: 扫描控制、数据库管理、OCR设置
  • 统计信息: 实时文件统计和数据库信息

🖼️ 多OCR引擎支持

  • pytesseract: 默认引擎，适合英文/数字/常规文档
  • paddleocr: 推荐中文场景，识别率高，首次加载慢
  • easyocr: 安装简单，支持多语言，适合快速体验
  • 动态切换: 可通过命令行或Web界面切换

🏗️ 系统架构

IFD/
├── src/
│   ├── config.py          # 配置管理
│   ├── database.py        # 数据库管理
│   ├── scanner.py         # 文件扫描器
│   ├── search.py          # 搜索引擎
│   ├── api.py            # Web API
│   ├── logger_config.py  # 日志配置
│   ├── static/           # Web界面
│   │   ├── index.html
│   │   ├── style.css
│   │   └── script.js
│   └── processors/       # 文件处理器
│       ├── base_processor.py
│       ├── text_processor.py
│       ├── doc_processor.py
│       ├── excel_processor.py
│       ├── pdf_processor.py
│       ├── ppt_processor.py
│       ├── image_processor.py
│       └── processor_factory.py
├── data/                 # 数据库文件
├── logs/                 # 日志文件
├── main.py              # 主程序入口
├── cli.py               # 命令行工具
├── start_gui.py         # Web GUI启动脚本
├── requirements.txt     # 依赖包
└── README.md           # 说明文档

📦 安装说明

系统要求

  • 操作系统: Windows 10/11 (推荐)
  • Python: 3.8 或更高版本
  • 内存: 建议 4GB 以上
  • 磁盘空间: 至少 2GB 可用空间

安装步骤

Windows用户 (推荐):

# 使用批处理脚本自动安装
start_service.bat

手动安装:

# 创建虚拟环境
python -m venv .venv

# 激活虚拟环境
.venv\Scripts\activate  # Windows
source .venv/bin/activate  # Linux/macOS

# 安装依赖
pip install -r requirements.txt

# 复制配置文件
copy config.env.example .env

配置环境变量

编辑 .env 文件：

# 扫描路径（多个路径用逗号分隔）
SCAN_PATHS=C:\Users\YourName\Documents,D:\Work

# 数据库路径
DATABASE_PATH=./data/file_index.db

# OCR引擎设置
OCR_ENGINE=pytesseract
OCR_CONFIDENCE_THRESHOLD=0.5

# 服务器设置
HOST=127.0.0.1
PORT=8000

OCR引擎安装 (可选)

如果需要图片OCR功能，请安装Tesseract：

Windows:

  1. 下载并安装 Tesseract
  2. 将安装路径添加到环境变量

Linux:

sudo apt-get install tesseract-ocr
sudo apt-get install tesseract-ocr-chi-sim  # 中文简体

macOS:

brew install tesseract
brew install tesseract-lang  # 语言包

🚀 快速开始

1. 启动系统

# 启动Web GUI
python start_gui.py

# 或启动API服务
python main.py

2. 访问Web界面

启动后访问: http://127.0.0.1:8000

3. 基本使用流程

  1. 配置扫描路径 - 在 .env 文件中设置要扫描的目录
  2. 初始化数据库 - 创建数据库表结构
  3. 扫描文件 - 扫描并处理文件内容
  4. 搜索文件 - 使用关键词、文件类型等条件搜索
  5. 检查同步 - 定期检查数据库与物理文件的同步状态

🛠️ 使用方法

命令行工具

基础操作
# 初始化数据库
python cli.py db-init

# 扫描文件
python cli.py scan

# 搜索文件
python cli.py search -k "关键词"

# 查看统计
python cli.py stats

# 查看配置
python cli.py config
数据库管理
# 重置数据库 (自动备份)
python cli.py db-reset

# 备份数据库
python cli.py db-backup

# 恢复数据库
python cli.py db-restore backup.db

# 优化数据库
python cli.py db-optimize

# 查看数据库信息
python cli.py db-info

# 列出备份文件
python cli.py db-backups
OCR引擎管理
# 查看OCR引擎信息
python cli.py ocr-info

# 设置OCR引擎
python cli.py ocr-set paddleocr

# 查看OCR配置
python cli.py ocr-config
文件同步检查
# 检查并修正文件同步状态
python cli.py check

🌐 Web界面功能

搜索功能

  • 实时搜索: 输入关键词即时搜索
  • 高级过滤: 文件类型、时间范围、排序选项
  • 结果预览: 文件内容预览
  • 导出功能: CSV格式导出搜索结果

系统管理

  • 扫描控制: 开始/停止文件扫描
  • 实时进度: 扫描进度实时显示
  • 数据库管理: 备份、优化操作
  • OCR设置: 引擎切换、参数配置

统计信息

  • 文件统计: 总文件数、图片文件、文档文件
  • 数据库信息: 数据库大小、最后扫描时间
  • 实时更新: 操作后自动刷新统计

🗄️ 数据库管理

备份和恢复

  • 自动备份: 重置数据库时自动创建备份
  • 手动备份: 随时创建数据库备份
  • 备份恢复: 从备份文件恢复数据库
  • 备份管理: 查看备份文件

优化和清理

  • 数据库优化: 重建索引、清理空间、删除孤立记录
  • 性能监控: 查看数据库大小、记录数等

文件同步检查

  • 自动检测: 检测数据库记录与物理文件的不一致
  • 自动修正: 自动修正不一致的记录
  • 详细报告: 提供详细的同步检查报告

安全特性

  • 备份保护: 重要操作前自动备份
  • 数据完整性: 外键约束保证数据一致性
  • 错误恢复: 操作失败时的回滚机制

🔧 OCR引擎管理

引擎选择

  • pytesseract: 默认引擎，适合英文/数字/常规文档，依赖Tesseract本地安装
  • paddleocr: 适合中文、复杂场景，需安装 paddlepaddle 和 paddleocr，识别率高，首次加载慢
  • easyocr: 安装简单，支持多语言，适合快速体验

切换方法

  1. 配置文件设置：
    OCR_ENGINE=easyocr
  2. 命令行切换：
    python cli.py ocr-set easyocr
  3. 查看当前引擎：
    python cli.py ocr-info

依赖安装

pip install pytesseract pillow
pip install paddlepaddle paddleocr
pip install easyocr

优化建议

  • 图片模糊、低分辨率、复杂背景会影响识别效果，建议开启图片预处理（默认已开启）
  • 可调整 .env 中 OCR_CONFIDENCE_THRESHOLD 提高置信度过滤
  • 多引擎对比：如识别效果不理想，可切换引擎尝试
  • 详细日志可在 ./logs/app.log 查看

🌐 API接口

基础操作

# 扫描文件
curl -X POST "http://127.0.0.1:8000/api/scan"

# 搜索文件
curl -X POST "http://127.0.0.1:8000/api/search" \
     -H "Content-Type: application/json" \
     -d '{"query": "财务报表"}'

# 获取统计
curl "http://127.0.0.1:8000/api/statistics"

数据库管理

# 备份数据库
curl -X POST "http://127.0.0.1:8000/api/db/backup"

# 优化数据库
curl -X POST "http://127.0.0.1:8000/api/db/optimize"

# 获取数据库信息
curl "http://127.0.0.1:8000/api/db/info"

# 获取备份列表
curl "http://127.0.0.1:8000/api/db/backups"

OCR管理

# 获取OCR信息
curl "http://127.0.0.1:8000/api/ocr-info"

# 设置OCR引擎
curl -X POST "http://127.0.0.1:8000/api/ocr-set" \
     -H "Content-Type: application/json" \
     -d '{"engine": "paddleocr"}'

文件同步检查

# 检查文件同步状态
curl -X POST "http://127.0.0.1:8000/api/check"

📊 数据库结构

files 表

  • id: 主键
  • file_path: 文件路径 (唯一)
  • file_name: 文件名
  • file_size: 文件大小
  • file_type: 文件类型
  • created_time: 创建时间
  • modified_time: 修改时间
  • file_hash: 文件哈希值
  • is_processed: 是否已处理

file_contents 表

  • id: 主键
  • file_id: 文件ID (外键)
  • content_type: 内容类型 (text/ocr_text)
  • content: 文件内容

search_index 表

  • id: 主键
  • file_id: 文件ID (外键)
  • keyword: 关键词
  • position: 位置

🔧 故障排除

常见问题

  1. OCR功能不可用

    • 检查Tesseract是否正确安装
    • 确认环境变量设置
    • 尝试切换OCR引擎

  2. 文件处理失败

    • 检查文件是否损坏
    • 确认文件格式支持
    • 查看日志文件

  3. 数据库错误

    • 检查数据库文件权限
    • 确认磁盘空间充足
    • 尝试数据库优化或清理

  4. 备份恢复失败

    • 确认备份文件完整性
    • 检查备份文件路径
    • 验证备份文件格式

  5. Web界面无法访问

    • 检查端口是否被占用
    • 确认防火墙设置
    • 查看服务器日志

  6. 依赖包安装失败

    • 检查网络连接
    • 使用国内镜像源：
      pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/

  7. 扫描路径配置错误

    • 确保路径存在且有访问权限
    • 路径中使用正斜杠(/)或双反斜杠(\)
    • 多个路径用逗号分隔，不要有空格

获取帮助

  • 查看日志: ./logs/app.log
  • 系统状态: python cli.py db-info
  • 配置检查: python cli.py config
  • OCR信息: python cli.py ocr-info

🔧 扩展开发

添加新的文件处理器

  1. 继承 BaseProcessor 类
  2. 实现必要的方法
  3. 在 ProcessorFactory 中注册
from .base_processor import BaseProcessor

class CustomProcessor(BaseProcessor):
    def can_process(self, file_path: str) -> bool:
        return file_path.lower().endswith('.custom')
    
    def process(self, file_path: str) -> Dict[str, Any]:
        # 实现处理逻辑
        pass
    
    def get_supported_extensions(self) -> list:
        return ['.custom']

更换OCR引擎

from src.processors.image_processor import ImageProcessor

# 创建新的OCR引擎
class CustomOCREngine:
    def image_to_string(self, image, lang=None, config=None):
        # 实现OCR逻辑
        pass

# 替换OCR引擎
image_processor = ImageProcessor()
image_processor.set_ocr_engine(CustomOCREngine())

📚 文档资源

  • API文档: 启动后访问 http://127.0.0.1:8000/docs
  • 项目地址: [GitHub Repository]
  • 问题反馈: [Issues]

📄 许可证

MIT License

🤝 贡献

欢迎提交Issue和Pull Request！

版本: 1.0
更新时间: 2025-01-26

Sliphades
关注
JMeter+Eclipse+Maven+Jenkins+Github持续集成接口/性能自动化测试框架搭建
我先测了
03-14 5676
背景：JMeter+Maven集成自动化测试框架讲个大概，自动化平台的测试框架少不了jenkins的组成，jenkins初级入门。本博客只是自己整理的笔记，好学的搜索进来，学习起来没那么顺畅，又因大多是截图，源码没有贴出来，是不是少了看下去的兴趣？ 1、本地化搭建eclipse+jmeter+maven项目结构如下：不会这里还要贴出eclipse如何创建maven项目吧？ 2、在本地使用jme...
JMeter+Eclipse+Ant+Jenkins+Github持续集成接口/性能自动化测试框架搭建
我先测了
03-14 5427
背景：JMeter+Ant集成自动化测试框架已经介绍了环境配置、脚本开发、ant构建结果调试，本篇计划实现持续集成接口自动化平台，加入jenkins+github等工具，点击链接介绍jenkins集成github插件，email、svn、github配置参考jenkins初级入门。 1、eclipse+jmeter+ant本地框架搭建结构如下，并在github注册了，把代码push到远程仓库 ...
【开源图床】使用Typora+PicGo+Github+CDN搭建个人博客图床
朝花夕拾
02-17 1万+
利用Typora+PicGo+Github+CDN搭建个人博客图床的方法在技术圈中备受关注。通过Typora编写博文、PicGo上传图片至Github仓库，并借助CDN实现加速，形成了一个高效的个人博客图床解决方案。这一方法简洁易行，不仅提升了博客编辑效率，还有效解决了图片存储和加载速度的问题。
github_根据文件内容/文件名搜索文件
xuchaoxin1375的博客
09-26 9593
文章目录在某个仓库内搜索in:file在所有仓库中搜索一般来说,没那么实用,github对其支持也较为有限path:"xxx"在指定类型文件中搜索包含特定关键字的文件filename: 在某个仓库内搜索 in:file keyword in:file 在所有仓库中搜索 一般来说,没那么实用,github对其支持也较为有限 path:“xxx” keyword path:"xxx" 在指定路径中搜索包含指定内容的文件 路径引号根据路径中是否含有空格来决定是否可以不加,但是建议总是加上,就不用考虑了 在指定
hexo＋Travis-ci＋github构建自动化博客
哎幽的成长
12-11 4176
在mac上 用hexo＋Travis-ci＋github构建自动化博客。Travis CI：是目前新兴的开源持续集成构建项目，它与jenkins，GO的很明显的特别在于采用yaml格式，简洁清新独树一帜。目前大多数的github项目都已经移入到Travis CI的构建队列中，据说Travis CI每天运行超过4000次完整构建。 说一下我对Travis 的理解。tarvis－ci是远端服务器构建，跟
Github webhooks 自动部署博客文章，使用总结【含视频】
bugstack虫洞栈
11-16 6746
作者：小傅哥 博客：https://bugstack.cn 原文：https://mp.weixin.qq.com/s/VtTHUfyiITNSoGy052jkXQ 沉淀、分享、成长，让自己和他人都能有所收获！???? 《云服务器学习》第7节：webhook自动化部署博客 一、前言 小傅哥，我搞了三台服务器，维护学校游戏社站点，我麻了！ ????女粉来信：傅哥，我大二了，就编程学的还
GitHub+Hexo搭建个人博客 - 详细教程
lang_xw的博客
10-18 3350
在本地typora写好一篇笔记后，上传到博客上，会发现图片显示不出来，因为笔记中的图片地址指向本机电脑，上传到博客之后，自然就无法显示了。https://github.com/用户名/repository仓库名/raw/分支名main/图片文件夹名称/.png or.jpg。，Hexo框架和以后自己发布的网页都在这个文件夹中。创建好后，进入文件夹中，按住shift键，右击鼠标点击命令行。git config --global user.email "你的GitHub注册邮箱"
基于树莓派的人脸识别门禁系统（python+OpenCV+PyQt）
热门推荐
ONESTARの博客
08-20 1万+
一、开发环境 硬件：树莓派3B+ 镜像系统：2019-04-08-raspbian-stretch-full.img 软件：python2.7+OpenCV3.4.0+PyQt5 HDMI显示屏：10.1寸、分辨率1280*800 注：本来搭建OpenCV环境和PyQt5的时候是按照python3.5来的，开发到一半发现用的是python2.7的版本....不过最终效果还是出来了 二、最...
Hexo+GitHub搭建个人博客教程（2023最新版）
qq_62928039的博客
04-19 1万+
二、注册GitHub账号并且创建仓库一、准备环境首先，安装 nodejs， 因为Hexo是基于 Node.js 驱动的一款博客框架。⭐然后，安装git, 一个分布式版本控制系统，用于项目的版本控制管理，作者是 Linux 之父。⭐（官网）⭐（仅windows安装包）⭐[阿里镜像]（速度快，ctr+f检索）安装过程一路next就行（安装路径可改）两者安装完成之后，右击此电脑>属性>高级系统设置>环境变量>系统变量下的Path 可以看到两者已自动修改了环境变量，这是我们可以通过。
工具 | 使用 arXiv API + Github Actions 实现每天自动获取arXiv论文摘要
Vincent Qin
10-26 6323
经常关注学术界最新动态的同学对arXiv可能会非常熟悉，它是全球最大的学术开放共享平台，目前存储了8个学科领域近200万篇学术文章[1]，学者们经常会将其即将发表的文章挂在arXiv上让同行评议，这极大地促进了学术界的开放性与协作性。 众多的文章让人眼花缭乱，让人无法马上获取自己关注领域的文章。笔者最近使用arXiv API[2] + Github Actions[3] 实现了每天自动从arXiv获取相关主题文章并发布在Github以及Github Page的功能，预览点击这里。 首先给出预览图，Git.
Jenkins+github+maven自动构建发布SpringBoot项目
浮萍
11-28 1万+
Jenkins 安装war 包方式安装 配置Jenkins插件 Jenkins全局工具配置安装Git 安装MavenJenkins 安装war 包方式安装官方下载地址：https://jenkins.io/download/ ，下载war包，并上传到服务器（案例中是把war包放在了 /usr/local/jenkins 里面） 运行环境：ubuntu（2核4GB） + jdk8 Java
GitHub+JenKins集成Python自动化测试脚本
sdd112的博客
03-14 3108
一、GitHub代码管理 1.配置密钥 打开Git Bash输入命令：ssh-keygen -t rsa -C "username"一直按回车键，按照返回的文件路径去查找密钥。 2.在GitHub上配置密钥 在电脑上复制密钥,登录github，按下图顺序配置到github上即可。 3.本地文件推送到GitHub仓库 进入到项目目录 使用命令“git init” 初始化仓库 使用“git add 文件名” 命令添加文件到缓存区，也可以使用“git add . ”命令添加当前目录下所有文件。 当前提交描述，
Hexo+Github搭建个人博客教程
Rockivy的博客
06-11 3849
完全免费的搭建个人博客，没有任何收费，零基础小白也能上手，不需要编程基础，跟着操作来即可。首先要了解一下我们搭建博客要用到的框架。Hexo是高效的静态站点生成框架，它基于Node.js。通过Hexo，你可以直接使用Markdown语法来撰写博客。相信很多小伙伴写工程都写过README.md文件吧，对，就是这个格式的！写完后只需两三条命令即可将生成的网页上传到你的github上，然后别人就可以看到你的网页啦。是不是很简单？你无需关心网页源代码的具体细节，你只需要用心写好你的博客内容就行。
已70k star！github中文排行榜，中文项目Top10都在这里啦！
3D视觉工坊
11-30 3702
作者：小张Tt | 来源：计算机视觉工坊项目地址：https://github.com/GrowingGit/GitHub-Chinese-Top-Charts你还在寻找GitHub中文资料而发愁吗？你还在GitHub因为英文不好而犯难吗？你还在找不到中文组织而难过吗？GitHub中文排行榜「帮助你发现优秀中文项目，可以无语言障碍地、更高效地吸收优秀经验成果」项目特色亮点【首创】中文排行榜筛选出有...
《计算机网络》实验报告六 电子邮件
qq_62992596的博客
07-23 772
本实验通过多种方式实现QQ邮件的收发操作，包括邮件代理、本地客户端、Web邮箱和Telnet命令，并利用Wireshark抓包分析SMTP、POP3等通信协议。实验过程中解决了tcpdump命令错误、Wireshark过滤语法等常见问题，验证了电子邮件的发送流程和协议交互过程。通过实验深入理解了SMTP、POP3协议的工作机制，掌握了邮件服务器配置、Base64编码解码等实用技能，认识到电子邮件在现代通信中的重要性。实验不仅提升了网络协议分析能力，也培养了解决实际问题的操作技巧。
解决VSCode中Github Copilot无法登陆的问题
谢白羽
07-26 160
点击vscode左下角的齿轮，输入proxy搜索。关闭所有窗口重启vscode即可。
GitHub 趋势日报 (2025年07月22日)
qianmoQ - 关注云计算,关注大数据
07-23 1197
今日GitHub热门项目趋势分析： 增长趋势："maybe"项目以1930星高居榜首，其次是"remote-jobs"(1160星)和"ConvertX"(1066星)。 语言分布：Python占比最高(32.5%)，其次是JavaScript(25.1%)和TypeScript(18.3%)，显示主流语言仍占主导地位。 热门领域：远程工作工具、AI代码助手和简历匹配工具等项目表现突出，反映当前开发者对效率工具和AI应用的持续关注。 （注：数据由T
GitHub的免费账户的存储空间有多少？
最新发布
安德洛夫
07-26 62
免费账户适合个人开发者和小型团队，可满足基础代码托管需求。若涉及大文件或复杂协作，建议根据实际需求选择付费计划。
在github上搭建自己主页
m0_52118763的博客
07-21 809
这里你可能又会遇到一些问题Author identity unknown …这里的2这里如果你不能save，你可以先切换，然后换回来就可以save了。save后，多刷新几次，出现3这个页面就成果了。注意即使你使用了代理，这里大概率也会报错，Failed to connect to github.com。错误是因为 Git 需要知道你是谁（提交者的身份），才能让你提交代码。你需要先配置你的用户名和邮箱地址。先下载一个git，电脑创建一个新文件夹，然后。解决方法就是-配置 Git 使用代理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值