Google 在 MySQL 中推进矢量搜索,在 LLM 支持方面超越 Oracle

MySQL开发者指南:探索向量数据库的奥秘 在数据库技术的浩瀚宇宙中,向量数据库如同一颗新星,逐渐受到更多的关注。对于追求性能极致的MySQL数据库开发者来说,理解并掌握向量数据库的原理和应用,无疑是提升自己技术能力的重要一步。与传统的关系型数据库不同,向量数据库通过空间索引和近似搜索算法,能够高效处理高维数据的相似性搜索和邻近查找任务。向量数据库作为一种新兴的数据库技术,为我们提供了一种全新的数据处理和分析方式。在MySQL数据库开发中,我们可以借助向量数据库来实现更高效的数据检索和分析功能。那么,你在使用向量数据库的过程中有哪些心得体会呢? 阅读详情

谷歌已将向量搜索引入其 MySQL 数据库服务,这一步领先了 MySQL 的所属公司 Oracle,迄今为止,Oracle 尚未给 MySQL 添加任何大型语言模型(LLM)方面的功能。

谷歌云数据库副总裁安迪·古特曼斯 (Andi Gutmans) 表示,在过去 12 年里,谷歌在向量方面的创新速度相当快。目前,在多个 Google Cloud 数据库中提供向量搜索预览版,包括 Cloud SQL for MySQL、Memorystore for Redis 以及 Google 的分布式数据库管理和存储服务 Spanner。

向量是 LLM 的基本元素,自 2022 年 ChatGPT 推出以来,LLM 已成为大型科技公司、政府和媒体的关注焦点。LLM 依赖于单词或语言的其他组成部分,根据其与其他语言的统计相似性将其表示为向量嵌入。Google 支持 Word2Vec,这是一种 2013 年推出的自然语言处理技术,尽管它已被法学硕士采用的转换器架构所取代。

开源数据库服务公司 Percona 的技术传播者 Dave Stokes 表示,Oracle 工程部门近期没有计划向 MySQL 支持向量类的功能。

“可悲的是,Oracle 似乎将所有资源投入到 HeatWave 中,同时为社区版做了绝对最低限度的资源,”他说。“这将使得 MySQL 进一步落后于 PostgreSQL 和新的向量数据库等。社区版普遍缺乏新特性和功能,而将 JavaScript 和向量嵌入到商业版本中,这将使社区客户寻求其他替代方案,例如 Google 提供的产品”。

不过,谷歌并不是唯一一家将向量搜索添加到 MySQL 服务的供应商。PlanetScale 是基于 MySQL/Vitesse 的分布式事务系统,于去年 10 月宣布了这一新功能。

Redis 是一种流行的内存数据库,通常用作缓存和系统代理,也已经在发布的版本中支持向量搜索。

分布式文档数据库 Couchbase 在 DBaaS Capella 和 Couchbase Enterprise Edition 中引入了向量搜索作为新功能。Couchbase 产品管理和业务运营高级副总裁 Scott Anderson 表示,向平台添加向量搜索是“使我们的客户能够构建新一波自适应应用程序”的下一步。

去年,Oracle数据库、Cassandra、MongoDB、PostgreSQL 和 SingleStore 在其数据库系统中增加了对向量搜索的支持,而像 Pinecone 这样的专业向量数据库也如雨后春笋般涌现,以支持计算趋势。

Forrester Research 副总裁兼首席分析师 Noel Yuhanna 表示,向量搜索现在或多或少已经成为任何专业企业数据库的标准。

“那些没有它的企业可能会看到对其增长的影响。根据我们的研究,大约 35% 的企业正在考虑向量数据库,预计在未来 18 个月内将增长到 50%,”他说。

他表示,向量搜索对于生成式人工智能应用程序变得至关重要,可以帮助寻找类似的数据、图像和文档,以及客户智能、欺诈检测、聊天机器人和内容个性化等新兴应用程序。

Yuhanna 说,虽然专业向量数据库有其优势,但集成数据库为组织提供了更多背景和更丰富的数据体验。“没有哪家供应商能脱颖而出,因为向量功能仍在不断发展,而且许多供应商尚未展现出高端规模。”

然而,目前只有约 22% 的组织正在为其数据库考虑 LLM/GenAI 战略,尽管 Forrester 预计这一数字在未来两到三年内会翻一番。Yuhanna 表示:“我们看到的大部分需求是希望利用向量进行新部署的新 GenAI 应用程序;要使现有数据库转向向量,我们至少需要几年时间。”

谷歌还试图让自己的 GenAI 模型更接近其分析环境。谷歌表示,它正在通过 Vertex AI 为 BigQuery(其数据仓库系统)的用户提供 Gemini。与 AI 和 ML 平台的新集成旨在帮助数据工程师和分析师使用 Gemini 模型为其 BigQuery 数据提供多模式和高级推理功能。

Yuhanna 表示,将 Vertex AI、BigQuery 和 BigLake 更紧密地结合在一起不仅可以帮助组织避免数据移动,还可以帮助提供见解、改善数据治理和安全性、删除冗余数据,并通过最大限度地减少管理要求来降低成本。

他表示,企业将非结构化数据与结构化 BI 风格数据合并为所谓的 Lakehouse 概念是趋势的一部分,目前约有四分之一的企业采用这种概念,以降低成本并运行 BI、数据科学、AI/ML、运营单一平台上的见解和 SQL 分析。

更多技术文章,请访问:https://opensource.actionsky.com/

关于 SQLE

SQLE 是一款全方位的 SQL 质量管理平台,覆盖开发至生产环境的 SQL 审核和管理。支持主流的开源、商业、国产数据库,为开发和运维提供流程自动化能力,提升上线效率,提高数据质量。

SQLE 获取

类型地址
版本库https://github.com/actiontech/sqle
文档https://actiontech.github.io/sqle-docs/
发布信息https://github.com/actiontech/sqle/releases
数据审核插件开发文档https://actiontech.github.io/sqle-docs/docs/dev-manual/plugins/howtouse
MySQL高阶讲座之:`MySQL`的`Vector Search`:其在`AI`和相似性搜索中的应用。 这样,你再想找“最像小猫咪”的照片,就变成了在向量空间里找距离最近的向量了。然后,在MySQL里存储向量数据库的ID,用MySQL做一些其他的业务逻辑,用向量数据库做相似性搜索。这段代码计算了向量表中每个向量与查询向量的欧氏距离,并按升序排列,取出距离最近的 10 个结果。用户上传一张图片,我们把这张图片也变成向量,然后在向量数据库里搜索最相似的向量,返回对应的图片。这段代码计算了向量表中每个向量与查询向量的点积,并按降序排列,取出点积最大的 10 个结果。对向量的某些维度建立索引,可以加速查询。 阅读详情

相关推荐

MySQL × 向量数据库:大模型时代的黄金组合实战指南

DBLens(https://sourceforge.net/projects/dblens-for-mysql/):高效的数据库管理工具。⚡ 智能 SQL 开发:支持语法高亮、代码补全、执行计划分析,查询效率提升 50%+。| 纯MySQL | 1200| 85ms | 62%|| 纯向量数据库| 800 | 25ms | 89%|| 混合架构 | 1500| 38ms| 93%|全中文支持:界面/文档/社区全面本土化,降低学习成本。| 方案 | QPS | 延迟 | 准确率|

dblens_com的博客 1905

mysql 向量查找_milvus 向量搜索数据库本来的样子

最近在做向量搜索引擎的调研中我发现faiss有一个比较致命的问题,我没有办法像mysql一样的去通过可交互页面进行crud,我需要不断地写代码实现相关的功能。在我测试的过程之中还用到了bert as serving支撑我的远程的文本向量预测的工作。通过milvus客户端进行数据库交互。安装bert as serving 必备的python 包pip install -U bert-serving-...

weixin_42322686的博客 1210

WordPress搭建“外贸独立站”完整操作教程

  以往的文章,我们介绍了很多种搭建独立站的方式,有最省事的Shopify 、最专业的Magento以及最省钱的Wordpress Woocommerce。其中,通过主机托管的方式又分了免费的谷歌云vps主机、1美元Godaddy主机以及SiteGround共享主机三种。建站方法方式实在太多了,有免费的,有廉价的,有商业版的,有共享主机、有云主机主机以及各种各样的vps服务器,选择哪种方式,哪款主机,也只有真正试了才直到。   没错,上述的这些方法方式,无一例外,我都亲身折腾过。从个人实际需求和建站方式来

www25qi的博客 8077

MySQL的AI基因觉醒:用你熟悉的MySQL玩转大模型向量搜索

向量(Vector):在高维空间(通常是数百甚至数千维)中的一个点,由一组有序的数值表示。例如,一个由ResNet-50​模型生成的图片特征向量可能是2048维 (​)。向量嵌入(Embedding):一种将现实世界对象(文本、图片、音频、视频、用户、商品等)转换为高维向量的技术。这些向量神奇地捕获了对象的语义或特征信息。语义相似的物体(如“猫”和“狗”的图片)在高维空间中的向量距离较近;语义差异大的物体(如“猫”和“汽车”)向量距离较远。向量搜索(Vector Search)

jast 1969

MS1030超声波流量计电路实战:如何用15ps精度优化水表设计(附配置代码)

本文深入探讨了如何利用MS1030超声波流量计芯片实现15ps高精度测量,以优化水表设计。文章从系统误差分配出发,详细解析了硬件电路设计要点、SPI通信配置及核心优化技巧,如利用可编程偏置电压和8回波累加功能来提升抗干扰能力与测量稳定性,并附有实用的配置代码示例。

svm4gardener的博客 332

Matlab PolySpace 静态分析实战:从零搭建嵌入式代码安全防线

本文详细介绍了如何使用Matlab PolySpace进行嵌入式代码静态分析,从环境搭建到实战配置,帮助开发者提前发现内存溢出、未初始化变量等潜在缺陷。通过案例分享和进阶技巧,展示如何提升代码安全性和可靠性,特别适合汽车ECU、医疗设备等安全关键系统开发。

weixin_33701617的博客 600

【技术积累】Mysql中的SQL语言【技术业务用户的查询服务篇】【6】

通用化的推荐能力

lkj9875421的博客 239

(入门向)在Ubuntu22.04.3安装Matlab2021b,以及无法安装在当前目录下的解决办法(见最后)

还有这个/usr/local是只读状态,我试过sudo chmod..去改那个文件的读,结果还是安装不了,我不是这个默认路径,因为它文件夹还是只读,于是我在matlab2021b下创了一个bin,并选上。输入完成后,依次按y,因为里面有三个文件,他会让你确定3次密码,直接yyy跳过即可。你可能会遇到装不下的情况,这个软件占30g,可是你分配给虚拟机就剩10g。,于是我去Downloads下建了一个matlab2021b文件夹,果然好使,3).此时,会提示你输入密码,因为这个rar是有密码的,

harrype的博客 7283

从mysql数据库到Elasticsearch再到qdrant向量数据库搜索的过程

在常规搜索中,我们通常依赖数据库的直接SELECT查询,对于文本内容,多数情况下使用LIKE进行模糊匹配,并通过添加判断规则来限制条件,以确保返回结果符合预期。然而,面对手中这批关于留学的问题和答案,当前的检索需求不仅要求考虑时效性(即信息易过期),而且单纯的模糊搜索已不足以满足需求。因此,我们决定研发一个更为先进的搜索模式,以便更好地维护数据并满足复杂的搜索需求。

weixin_43973790的博客 2105

【RT-DETR有效改进】利用EMAttention加深网络深度提高模型特征提取能力(特征选择模块)

本文给大家带来的改进机制是EMAttention注意力机制,它的核心思想是,重塑部分通道到批次维度,并将通道维度分组为多个子特征,以保留每个通道的信息并减少计算开销。EMA模块通过编码全局信息来重新校准每个并行分支中的通道权重,并通过跨维度交互来捕获像素级别的关系。本文改进是基于ResNet18、ResNet34、ResNet50、ResNet101,文章中均以提供,本专栏的改进内容全网独一份深度改进RT-DETR非那种无效Neck部分改进,

Snu77的博客 3169

《PCI Express体系结构导读1》-- PCI简介

请先阅读完一遍此书再来看文章哦,这样效率更高~

HoneyIC的博客 151

数据向量化保存并检索

向量化文本并检索

goubi4056的博客 685

GoAnywhere MFT 身份验证绕过漏洞(CVE-2024-0204)

GoAnywhere MFT 身份验证绕过漏洞(CVE-2024-0204)

weixin_43567873的博客 387

MySQL检索数据

以SELECT ... FROM为基础,可以检索单个或多列,也可以用 * 检索所有数据。 LIMIT限制结果 LIMIT后接返回的数据行数,也可以指定从第几行开始返回数据,不指定就默认是从第0行开始返回。 排序数据 ORDER BY排序,默认升序,可以按多个列排序。可以在制定列后加关键字DESC,表示降序。 过滤数据 WHERE子句过滤数据,比较特别的是等于是=,不是==;BETWEE...

Cenhelm的博客 1000

Windows 下运行 openclaw 出现“‘openclaw‘ 不是内部或外部命令,也不是可运行的程序或批处理文件“的解决方案

方案适用场景推荐指数检查并手动添加 PATH明确知道全局安装目录,只是没加进PATH⭐⭐⭐⭐⭐pnpm setup 自动配置使用 pnpm 安装,想要省心的自动化方式⭐⭐⭐⭐⭐npx 免安装临时运行快速验证核心程序是否正常,排除法排查⭐⭐⭐⭐清理残留后重装npm/pnpm 混用导致版本混乱⭐⭐⭐⭐改用 WSL2不熟悉 Windows 路径体系,长期使用⭐⭐⭐'openclaw' 不是内部或外部命令这类报错,本质上不是"程序坏了",而是。

一键难忘的博客 1万+

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

【技术积累】Mysql中的SQL语言【技术篇】【6】赋能技术

可变化、可扩展

lpllp99855565的博客 339

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

在MySQL云数据库中集成向量搜索功能:使用TiDB Cloud和TiDB Serverless

TiDB Cloud 是一款全面的数据库即服务 (DBaaS) 解决方案,提供了专用和无服务器选项。TiDB Serverless 现已在 MySQL 中集成了内置向量搜索功能,使得开发者能够无缝开发基于 AI 的应用,而不需要新的数据库或额外的技术栈。我们可以通过 TiDB Serverless 提供的向量搜索特性,轻松创建 AI 应用程序。

bavDHAUO的博客 475

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

mysql 向量查找_AnalyticDB向量检索+AI 实战: 声纹识别

1. 背景近年来,随着人工智能对传统行业的赋能改造,越来越多的基于人工智能的业务解决方案被提出来,声纹识别在保险行业中的身份认证便是一个很好的例子. 声纹识别是根据说话人发音的生理和行为特征,自动识别说话人身份的一种生物识别技术,对应在电话销售场景下,它主要解决以下安全问题:一方面,有不法分子窃取电话销售人员账号信息,非法获取客户个人信息资料并进行贩卖、泄露,严重侵犯了公民个人的信息隐私权,另一方...

weixin_33100265的博客 884

向量数据库入坑指南:使用 Faiss 实现一个最简单的向量检索功能 (二)

本篇文章将带你使用 Faiss 实现最简单的向量检索功能

ZILLIZ 2854

支持向量的 MySQL 9.0 已发布,我却看不懂 MySQL 的骚操作了!

作者 | JiekeXu来源 |公众号 JiekeXu DBA之路(ID: JiekeXu_IT)如需转载请联系授权 |(个人微信 ID:JiekeXu_DBA)大家好,我是 JiekeXu,江湖人称“强哥”,荣获 Oracle ACE Pro 称号,墨天轮 MVP,墨天轮年度“墨力之星”,拥有 Oracle 11g OCP/OCM 认证,MySQL 5.7/8.0 OCP 认证以及 PCA...

JiekeXu的博客 2843

MySQL 9.0发布,号称支持向量(Vector),但我却看不懂Oracle到底在玩什么

我历来对这种每个大版本里的第一个小版本都不感冒,认为最多保持关注即可,无需大惊小怪。认真阅读新版本手册中的 What Is New这部分内容,以及 release notes,了解新版本的动向及意图基本足矣。但这次的MySQL 9.0发布,却激起了涟漪。从昨晚开始,MySQL 圈就沸腾了,都在讨论9.0新版本。Oracle 官方 blog 推文里爆料即将新增 Vector 数据类型New!Ve...

老叶茶馆 959

使用Google Cloud SQL for MySQL进行向量存储和搜索

Cloud SQL是一种完全托管的关系数据库服务,支持高性能和无缝集成。它支持多种数据库引擎,包括PostgreSQL、MySQL和SQL Server。通过Cloud SQL的LangChain集成,你可以拓展数据库应用,实现AI驱动的体验。

dagGAIYD的博客 730

大规模向量相似度检索方案

1. 引入 有很多指标可以用来衡量向量的相似度,比如余弦距离、汉明距离、欧氏距离等。 在图像、视频、文本、音频领域,做向量的相似性搜索,有很多应用点,比如:图像识别,语音识别、垃圾邮件过滤。 这种基于相似度检索的方案,不同于机器学习模型的方案。比如用有监督学习模型来做人脸识别,模型的可解释性较低,而基于相似度搜索来做人脸识别,可解释性就更高。 但是,当数据量很大,比如几千万张图片,要做相似度搜索,就比较困难了。穷举法固然可行,但非常耗时。针对这种场景,本文主要介绍方案级别的信息。 2. 常用方案 通用的向量

ybdesire的专栏 3184

利随鼠标或触摸移动用Redis实现向量相似度搜索:解决文本、图像和音频之间的相似度匹配问题

业务用户的查询服务

oii99965522的博客 172

MySQL 人脸向量,欧几里得距离相似查询

由于欧几里得距离需要将两个点的每维数值求差,在 MySQL 中也就是要循环向量被逗号分割的每个数值,然后分别求差在平方累加,最后开根号就是距离值,数越小越相似。以下语句中用到了 SUBSTRING_INDEX 函数通过循环 1 到 128 取出指定长度串,最后的 SUBSTRING_INDEX 是取出最后的数值就是循环每维数值。END。

北桥苏的博客 596

利用Redis实现向量相似度搜索:解决文本、图像和音频之间的相似度匹配问题无需重写

新增数据源

huajia968662的博客 348
上一篇: MySQL 核心模块揭秘 | 08 期 | 二阶段提交 (2) commit 阶段
下一篇: 如何解决由触发器导致 MySQL 内存溢出?
爱可生开源社区
博客等级 码龄8年 1936粉丝 1004原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值