以图搜图架构初稿

Java+ElasticSearch+Pytorch实现以图搜图 elasticsearch、pytorch在java中实现以图搜图 阅读详情



一、图片集离线增量
1、获取近一个月的新款,每个货号获取前5张图片,
2、对其进行裁剪拼接图片地址(按最大900比例裁剪,使用存储地址,不使用CDN)如: http://obkxpgodc.bkt.clouddn.com/2018/07/12/5b470992afc17.JPG ?imageView2/2/h/900/format/jpg/q/75/
3、保存到数据库
4、跑脚本,分批将数据从七牛云拉取下来
5、分批批量上传到OSS(华东区)
6、上传完毕后,批量生成meta文件,
7、使用离线增量,将数据提交到图像搜索引擎中



二、图片集实时增量
1、编辑图片库时,先将图片上传到OSS(华南区)/七牛云

2、API服务器定时从MySQL中获取图片地址,进行裁剪拼接地址,拉取指定格式图片
3、通过阿里云SDK上传到图像搜索引擎中


三、用户使用图片搜索
1、用户请求场景
1.1、第一次图片搜索:
1.1.1、压缩图片,300像素<宽、高<900像素
1.1.2 、提交到API服务器,获取名称(md5图片信息),API服务器先提交pic到OSS(华南)/七牛云
1.1.3、调用图像分析接口、获取返回数据
1.1.4、图片名称+分类、商品信息集,缓存到redis中,期限1天
1.1.5、返回商品列表+图片名称(pic_path)


1.2、选择分类+pic_path:
1.2.1、pic_path+分类,获取缓存,如果缓存有数据,直接返回
1.2.2、缓存不存在,先下载到API服务器
1.2.3、调用图像分析接口、获取返回数据
1.2.4、图片名称+分类、商品信息集,缓存到redis中,期限1天
1.2.5、返回商品列表


1.3、货号搜索:
1.3.1、根据货号,获取缓存,如果缓存有数据,直接返回
1.3.2、缓存不存在,使用url,拼接裁剪得到pic_path,先下载图片到API服务器
1.3.3、调用图像分析接口、获取返回数据
1.3.4、货号、商品信息集,缓存到redis中,期限1天
1.3.5、返回商品列表

注:场景1方案待优化:
1、客户端图片上传,选择第三方,不走API服务器




2、移动端上传架构

四、OSS迁移
1、获取近几个月的商品库图片地址字段,分割成单个图片地址,保存到测试站MySQL中
2、使用PC,分批下载七牛云图片(不使用CDN),上传到OSS(华南区)中


七牛云以图搜图yaf框架、thinkPHP示例代码下载 七牛云以图搜图官方文档:https://developer.qiniu.com/dora/4680/image-search 七牛云综合 SDK下载及安装文档:https://developer.qiniu.com/kodo/1241/php 本示例SDk放置在\library\Public\Qiniu下 整合的方法模型在\library\Db\Qiniu.php,记得配置accessKey和secretKey 测试控制器放在\application\app\controllers\Test.php 本示例是在yaf框架下测试,其它框架,如thinkphp类似 立即下载

相关推荐

手把手教你:在openEuler 22.03上离线搞定OpenSSH 9.8升级(CentOS 7.9通用)

本文详细介绍了在openEuler 22.03和CentOS 7.9系统上离线升级OpenSSH 9.8的完整流程,包括准备工作、离线包获取、安装步骤、服务管理及回滚方案。特别针对无外网环境的企业服务器,提供安全可靠的离线升级解决方案,帮助运维人员有效提升系统安全性。

weixin_30682415的博客 192

基于SQLite与FTS5的本地文件索引系统:lmo16l的设计与实现

在数字化工作流中,高效管理海量零散文件是提升个人生产力的关键挑战。传统文件系统依赖目录层级检索,难以应对碎片化文件的快速定位需求。全文搜索技术通过建立倒排索引,将文件内容与元数据转化为可查询的结构化信息,实现了从“位置查找”到“内容检索”的范式转变。SQLite结合其FTS5扩展,提供了一个轻量级、零配置的嵌入式全文搜索引擎方案,特别适合构建本地化、隐私优先的索引系统。这种技术组合的核心价值在于,它允许用户在完全不改变现有文件存储结构的前提下,实现毫秒级的精准搜索,有效解决了“下载文件夹黑洞”和“桌面文件混

weixin_32520095的博客 292

告别ROS1!在Ubuntu 22.04上为VINS-Fusion适配ROS2 Humble的完整踩坑记录

本文详细记录了在Ubuntu 22.04上将VINS-Fusion从ROS1迁移到ROS2 Humble的完整过程,包括环境搭建、依赖管理、核心代码适配及性能优化。通过实战案例和调试技巧,帮助开发者高效解决迁移过程中的常见问题,提升系统稳定性和性能。

weixin_42628688的博客 281

七牛云以图搜图(java)

最近项目需要用到以图搜图,搜索了第三方产品,并且分析了项目需求,最终选择七牛云以图搜图,然而,七牛云文档就是个坑,只有php的demo,而java的却没有,联系客服几天才给java的demo static final String accessKey = "xxxxxxxxx"; static final String secretKey = "xxxxxxxxxx"; ...

qq_34792830的博客 1643

【深度解析】AURIX TC387 UCB Flash架构与避坑指南(第一篇)

摘要:UCB(用户配置块)是AURIX TC3xx芯片启动与安全的关键配置区域,位于DFLASH0存储区。每个512字节的UCB包含启动模式、安全设置等关键参数,并通过强制CRC32校验确保完整性。UCB分为启动头(UCB_BMHD)、安全配置(UCB_ORIG)及其备份(UCB_COPY)三种主要类型。不同于常规Flash,UCB具有自动擦除特性,错误配置可能导致芯片永久锁死。开发中应谨慎修改UCB,必须同时编程原始和备份版本,并确保正确的CRC校验。后续文章将详细介绍UCB编程方法和调试技巧。

2511_94612429的博客 1235

YOLOv12改进策略【损失函数篇】| 替换Powerful-IoU(PIoU),增强对中等质量锚框的关注力,引导锚框更直接、高效地回归

本文针对现有基于IoU的损失函数在目标检测任务中存在的问题,提出了利用Powerful-IoU(PIoU)及其升级版PIoU v2改进YOLOv12的损失函数,以提高模型精度。文章详细介绍了PIoU和PIoU v2的结构原理,并提供了在YOLOv12中实现这些损失函数的具体步骤和代码修改方法。

Limiiiing的博客 931

图像检索(以图搜图)python实现

算法思想:统计每个特征(对应词典–也就是聚类的1800个特征中心)在训练集中出现的次数(比如一个特征在15张图片中存在,则该特征对应的值为15),得到一个1800长度的一维向量。算法:提取搜索图片的sift特征,结合之前获取到的词典得到BOF特征向量,计算训练集中每张图片的BOF向量和该特征向量的余弦相似度(越相似,值越小),得到最终的排序结果。函数说明:输入搜索图片的路径,返回最相似的15张图片(由于作者采用的训练集包括了测试集图片,所以查询16张,将查询到的最相似的一张图片(其本身)排除)

weixin_47696370的博客 1万+

基于STM32设计的智能水母投喂器(华为云IOT)_170

本项目利用STM32单片机控制各种传感器和水泵等设备,能够自动检测和调整水温和水质等参数,自动换水,自动供氧等等,充分满足了水母的养殖要求和需要。同时,根据水母喜欢的光环境,添加了RGB氛围灯,以及可以手动控制的喂食器等功能,提升了水母养殖的便利性和趣味性。

8808

百度以图搜图API介绍

http://shitu.baidu.com/i?ct=3&tn=inface&pn=0&rn=10&querysign=2699556427,891944103&shituRetNum=244&similarRetNum=600&faceRetNum=1000&setnum=0&beautynum=0&keyword=%E5%AE%89%E5%AE%B0%E8%B4%A4%2A%E6%AF%9B

西红柿炒土豆 1万+

PCL ——LevenbergMarquardt非线性最小二乘法拟合圆柱(C++详细过程版)

使用C++详细过程版实现的LevenbergMarquardt非线性最小二乘法拟合圆柱

点云侠的博客 607

DeepSeek邮件管理全攻略

DeepSeek邮件助手是一款高效的邮件处理工具,提供智能分类、撰写、回复和任务自动化功能。通过API调用或多智能体系统,它能自动分类邮件意图、生成专业回复并优化邮件内容。核心功能包括智能过滤、会议安排和任务提醒,支持与主流邮箱服务集成。提供精准提示词模板,帮助用户快速生成得体邮件,提升工作效率。适合个人和企业使用,通过简单配置即可实现邮件处理自动化。

Genio_Wang的博客 180

使用elasticSearch搭建本地以图搜图服务

在搭建本地以图搜图服务文章中实现了以图搜图,但还是存在一些问题,程序启动时需要加载大量的特征文件到内存中,每次程序启动时都需要花上十几分钟。而在使用elasticSearch实现以图搜图文章中使用了elasticsearch来检索图片的描述。但是精准度不高,而且图片的训练速度有点慢于是我想直接把特征数组直接存入elasticsearch来做检索。于是我查了一下elasticsearch能否存储向量数据,刚好找到了不需要.npy文件程序秒启动图片检索速度快。...

xjhqre的博客 3023

上位机图像处理和嵌入式模块部署(开篇)

【 声明:版权所有,欢迎转载,请勿用于商业用途。 联系信箱:feixiaoxing @163.com】 图像处理是现实生活当中很实用的一门技术。工业上一般采用的是机器视觉,以传统算法和光源控制为主,部分采用了深度学习技术。而生活当中,则主要以二维码识别、人脸识别、车牌识别和ocr识别为主,这中间深度学习与AI扮演了很重要的角色。过去,市场上的商业收费软件,主要还是以传统设备厂商提供的上位机软件为主,那这一部分是不是结合最新的npu技术,应该做出一些新的东西出来呢?

嵌入式-老费,一个分享专业嵌入式知识的blog 1337

Stride 程序集处理器深度解析:序列化代码生成、模块初始化器与 ParameterKey 注入的编译期魔法

> Stride(前身 Xenko)作为一款跨平台 C# 游戏引擎,其运行时序列化、渲染参数与自动注册能力并非全部来自手写代码,而是由一个在编译后运行的"程序集处理器"(Assembly Processor)注入到 IL 之中。本文以仓库中的 [Stride.Core.AssemblyProcessor README](https://link.gitcode.com/i/64b2498b5c62

gitblog_00343的博客 395

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

电商场景新利器:Qwen3-VL-8B实现商品图智能分析

通义千问推出的Qwen3-VL-8B是一款轻量级多模态模型,具备高效图文理解能力,支持单卡部署与快速推理,适用于电商场景中的商品自动打标、以图搜图优化和客服描述生成等任务,显著降低运营成本并提升智能化水平。

weixin_35762258的博客 796

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

企业云存储架构选型:从存储网关到AI原生数据湖的演进与实践(2026)

传统企业网盘解决的是“文件存哪里、怎么分享”,而一个好的企业云存储方案,需要进一步回答“数据如何在团队内高效流动、如何被业务系统消费、如何与AI能力结合”。文章将围绕存储架构、AI集成能力、安全合规设计三个技术维度展开,不涉及主观排名,仅做客观信息整理。

MindUp的博客 1010

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

AI大模型零基础学习(6):多模态大模型实战——让AI看懂世界

从“文字交互”到“全感官认知”的维度突破

1062

企业网盘迁移技术选型:从单点存储到AI生产力平台的演进分析

本文探讨了企业网盘迁移过程中的技术评估框架与实践思考。作者从存储同步机制、权限安全模型、协同集成能力和AI能力四个维度,对比分析了百度网盘企业版、坚果云、云盒子等主流方案的技术特征。重点指出百度网盘企业版在大模型集成、大文件传输和免费AI功能方面的优势,坚果云在同步算法上的积累,以及云盒子在私有化部署场景的适配性。建议企业根据AI需求、同步强度、部署形态等关键因素建立评估矩阵,通过小范围实测数据做出决策。文章为正在选型的企业提供了技术维度的参考框架。

LearnYard的博客 587

人工智能演进图谱:从理论奠基到GPT-4的技术跃迁

本文系统梳理了人工智能从理论萌芽到GPT-4的技术演进历程,涵盖神经元模型、专家系统、深度学习革命及大模型时代等关键阶段。重点解析了GPT-3等大语言模型的技术突破,揭示算法创新、算力增长和数据量膨胀三大驱动力如何推动AI实现从量变到质变的跃迁。

weixin_42551227的博客 224

Lychee Rerank MM:提升多模态检索效率的智能工具

本文介绍了如何在星图GPU平台上自动化部署Lychee Rerank 多模态智能重排序系统镜像,显著提升多模态检索排序精度。该镜像基于Qwen2.5-VL模型,支持图文混合输入,典型应用于电商平台商品搜索优化——精准重排初检结果,将真正匹配‘孕妇防辐射服’等语义复杂需求的商品推至前列,提升点击率与转化率。

weixin_42506884的博客 75

虚拟内容:从工程视角看AI如何重塑内容生产与消费

在人工智能技术快速发展的今天,虚拟内容已成为内容生产领域的重要趋势。从技术原理上看,虚拟内容技术主要基于深度学习和生成式模型,通过大规模数据训练,实现对文本、图像、视频等内容的自动化生成。其核心价值在于作为效率杠杆和创意催化剂,能够显著降低内容生产的启动成本,解决重复性、模板化内容的批量生产问题,并降低高门槛视觉内容创作的技术壁垒。在应用场景上,虚拟内容已广泛应用于AI写作、AI绘画、AI视频生成、个性化内容交付等领域,为内容创作者和消费者带来了全新的可能性。本文将从工程实践角度,探讨虚拟内容如何解决真实世

weixin_33834137的博客 323

AI办公--AI与智能办公丨AI助力职场效率提升

市场调研任务:“我是一名互联网公司的产品运营专员,负责一款新兴社交 App(背景),当下急需开展用户满意度调研(需求),但我们的调研预算有限,且时间周期仅有两周(条件),请制定一份高效、低成本的线上调研方案,涵盖调研渠道选择、问卷设计要点、样本量确定等内容。“帮我做一个请假的表格,要有姓名,部门,请假时间,请假类别,请假理由,主管部门意见,总经理意见,并留出签名的地方,最终以HTML的格式输出。你是数据分析师,现有“2024Q3销售数据.xlsx”(数据包含“日期/产品/地区/销售额/利润”列)。

m0_56491492的博客 1154

towhee+elasticsearch实现本地以图搜图

towhee+elasticsearch实现本地以图搜图elasticsearch版本为 7.4.2。

xjhqre的博客 950

使用elasticSearch实现以图搜图

项目地址https。

xjhqre的博客 2515

如何用 Elasticsearch 实现“图搜图”

1、什么是图搜图?"图搜图"指的是通过图像搜索的一种方法,用户可以通过上传一张图片,搜索引擎会返回类似或者相关的图片结果。这种搜索方式不需要用户输入文字,而是通过比较图片的视觉信息来找到相似或相关的图片。这项技术在许多不同的应用中都很有用,如找到相同或相似的图片,寻找图片的来源,或者识别图片中的物体等等。图像搜索的技术基础主要包括图像处理和机器学习等方面。通过图像处理,可以提取图像的特征(如颜色、...

程序猿DD 2039

php怎么实现根据图片搜索图片功能

php怎么实现相似图片的搜索呢? 其中的原理来解释下 1、缩小尺寸。将图片缩小到8×8的尺寸,总共64个像素。这一步的作用是去除图片的细节,只保留结构、明暗等基本信息,摒弃不同尺寸、比例带来的图片差异。 2、简化色彩。将缩小后的图片,转为64级灰度。也就是说,所有像素点总共只有64种颜色。 3、计算平均值。计算所有64个像素的灰度平均值。 4、比较像素的灰度。将每个像素的灰度,与平均值进

风之雪夜 2236
上一篇: 数据库架构--高可用
下一篇: 图解分布式架构的演进过程
xiaochen1999
博客等级 码龄12年 24粉丝 39原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值