mybatis返回类型为map,字段因有特殊符号[]报错问题

已于 2023-07-07 09:40:41 修改
阅读量735 收藏
点赞数
文章标签： mybatis java 开发语言
于 2023-06-02 10:33:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_39610585/article/details/131001889
版权

在做mybatis返回类型为map,因返回字段中含有特殊符号数据问题

1 字段中包含原点符号,会解析字段被截断
2 字段中包含[],会解析字段直接报错

数据库表

CREATE TABLE `ads(1)` (
	`姓名` VARCHAR(500) NULL DEFAULT NULL COLLATE 'utf8mb4_bin',
	`NR BestBeam RSRP[dB1]` VARCHAR(50) NULL DEFAULT NULL COLLATE 'utf8mb4_bin'
)
COMMENT='admin上次excel创建'
COLLATE='utf8mb4_bin'
ENGINE=InnoDB
;

表数据截图
在这里插入图片描述

查询
mapper

package com.ruoyi.basedata.mapper;
import org.apache.ibatis.annotations.MapKey;
import org.apache.ibatis.annotations.Param;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;
public interface BaseDataMapper
{
    /**
     * 根据表名查询所有数据
     * @param tableName
     * @return
     */
    List<Map> selectAllBYTableName(@Param("tableName") String tableName);
}

mapper.xml

<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE mapper
PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN"
"http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.ruoyi.basedata.mapper.BaseDataMapper">
    <select id="selectAllBYTableName" resultType="java.util.LinkedHashMap">
        select * from `${tableName}`;
    </select>
</mapper>

mybatis源码中 属性分词器PropertyTokenizer


package org.apache.ibatis.reflection.property;

import java.util.Iterator;

/**
 * @author Clinton Begin
 */
public class PropertyTokenizer implements Iterator<PropertyTokenizer> {
  private String name;
  private final String indexedName;
  private String index;
  private final String children;

  public PropertyTokenizer(String fullname) {
    int delim = fullname.indexOf('.');
    if (delim > -1) {
      name = fullname.substring(0, delim);
      children = fullname.substring(delim + 1);
    } else {
      name = fullname;
      children = null;
    }
    indexedName = name;
    delim = name.indexOf('[');
    if (delim > -1) {
      index = name.substring(delim + 1, name.length() - 1);
      name = name.substring(0, delim);
    }
  }

  public String getName() {
    return name;
  }

  public String getIndex() {
    return index;
  }

  public String getIndexedName() {
    return indexedName;
  }

  public String getChildren() {
    return children;
  }

  @Override
  public boolean hasNext() {
    return children != null;
  }

  @Override
  public PropertyTokenizer next() {
    return new PropertyTokenizer(children);
  }

  @Override
  public void remove() {
    throw new UnsupportedOperationException("Remove is not supported, as it has no meaning in the context of properties.");
  }
}


/**
 * @author Clinton Begin
 * 分词的符号就是 .
 */
public class PropertyTokenizer implements Iterator<PropertyTokenizer> {
  /**
   * 当前属性的第一块名字
   * 比如jdbc.name 那么name就是jdbc
   * 但是如果属性就是name没有儿子 那么name就是name
   *
   * 还有比如 fullname 是 arr[1]
   * 那么 name 就是 arr
   */
  private String name;
  /**
   * 假如 fullname 没有 [
   * 那么 indexedName 就等于 name
   * 但是有的话
   * 比如 fullname 是 arr[1]
   * indexedName 就等于 arr[1]
   * 而name 是等于 arr
   */
  private final String indexedName;
  /**
   * 这个就是 比如 fullname 是 arr[1] 的话 index = 1
   */
  private String index;
  /**
   * children 就是儿子  可能为空
   * 比如 jdbc.name 那么 children 就是 name
   * 没儿子的话 children 就是 null
   */
  private final String children;

  // 属性分词器
  public PropertyTokenizer(String fullname) {
    int delim = fullname.indexOf('.');
    // 根据 点 进行分割
    if (delim > -1) {
      /**
       * 比如jdbc.username
       * name = jdbc
       * children = username
        */
      name = fullname.substring(0, delim);
      children = fullname.substring(delim + 1);
    } else {
      name = fullname;
      children = null;
    }
    indexedName = name;
    /**
     * 这个是对包含[的属性名字 再次以 [ 进行解析
     * 解析 解析出index
     * 比如 arr[0]
     * index = 0
     * name = arr
     */
    delim = name.indexOf('[');
    if (delim > -1) {
      index = name.substring(delim + 1, name.length() - 1);
      name = name.substring(0, delim);
    }
  }

  public String getName() {
    return name;
  }

  public String getIndex() {
    return index;
  }

  public String getIndexedName() {
    return indexedName;
  }

  public String getChildren() {
    return children;
  }

  @Override
  public boolean hasNext() {
    // 当 children 不为空，就表示当前属性还有儿子
    return children != null;
  }

  @Override
  public PropertyTokenizer next() {
    // 类似进行递归解析
    return new PropertyTokenizer(children);
  }

  @Override
  public void remove() {
    throw new UnsupportedOperationException("Remove is not supported, as it has no meaning in the context of properties.");
  }
}

本身还是好理解的吧，就是对字符串的一个解析，大概的解析过程：

先根据 . 进行分割，解析出 name 和 children 的值；
这时将 name 的值赋值给 indexedName；
继续以 [进行分割，确定出 index 和 name 的值。

控制台报错信息

10:31:12.151 [http-nio-9500-exec-3] DEBUG c.r.b.m.B.selectAllBYTableName - [debug,137] - ==>  Preparing: select * from `ads(1)`;
10:31:12.151 [http-nio-9500-exec-3] DEBUG c.r.b.m.B.selectAllBYTableName - [debug,137] - ==> Parameters: 
10:31:12.153 [http-nio-9500-exec-3] ERROR c.r.c.s.h.GlobalExceptionHandler - [handleRuntimeException,82] - 请求地址'/default/selectDataByTableName',发生未知异常.
org.mybatis.spring.MyBatisSystemException: nested exception is org.apache.ibatis.exceptions.PersistenceException: 
### Error querying database.  Cause: java.lang.NumberFormatException: For input string: "dB1"
### The error may exist in file [E:\newWor\xyd-intelligent-om\base-data\target\classes\mapper\BaseDataMapper.xml]
### The error may involve com.ruoyi.basedata.mapper.BaseDataMapper.selectAllBYTableName
### The error occurred while handling results
### SQL: select * from `ads(1)`;
### Cause: java.lang.NumberFormatException: For input string: "dB1"
	at org.mybatis.spring.MyBatisExceptionTranslator.translateExceptionIfPossible(MyBatisExceptionTranslator.java:96)
	at org.mybatis.spring.SqlSessionTemplate$SqlSessionInterceptor.invoke(SqlSessionTemplate.java:441)
	at com.sun.proxy.$Proxy131.selectList(Unknown Source)
	at org.mybatis.spring.SqlSessionTemplate.selectList(SqlSessionTemplate.java:224)
	at com.baomidou.mybatisplus.core.override.MybatisMapperMethod.executeForMany(MybatisMapperMethod.java:166)
	at com.baomidou.mybatisplus.core.override.MybatisMapperMethod.execute(MybatisMapperMethod.java:77)
	at com.baomidou.mybatisplus.core.override.MybatisMapperProxy$PlainMethodInvoker.invoke(MybatisMapperProxy.java:148)
	at com.baomidou.mybatisplus.core.override.MybatisMapperProxy.invoke(MybatisMapperProxy.java:89)
	at com.sun.proxy.$Proxy132.selectAllBYTableName(Unknown Source)
	at com.ruoyi.basedata.service.impl.BaseDataServiceImpl.selectDataByTableName(BaseDataServiceImpl.java:21)
	at com.ruoyi.basedata.controller.DefaultController.selectDataByTableName(DefaultController.java:51)
	at sun.reflect.GeneratedMethodAccessor107.invoke(Unknown Source)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.springframework.web.method.support.InvocableHandlerMethod.doInvoke(InvocableHandlerMethod.java:205)
	at org.springframework.web.method.support.InvocableHandlerMethod.invokeForRequest(InvocableHandlerMethod.java:150)
	at org.springframework.web.servlet.mvc.method.annotation.ServletInvocableHandlerMethod.invokeAndHandle(ServletInvocableHandlerMethod.java:117)
	at org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter.invokeHandlerMethod(RequestMappingHandlerAdapter.java:895)
	at org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter.handleInternal(RequestMappingHandlerAdapter.java:808)
	at org.springframework.web.servlet.mvc.method.AbstractHandlerMethodAdapter.handle(AbstractHandlerMethodAdapter.java:87)
	at org.springframework.web.servlet.DispatcherServlet.doDispatch(DispatcherServlet.java:1071)
	at org.springframework.web.servlet.DispatcherServlet.doService(DispatcherServlet.java:964)
	at org.springframework.web.servlet.FrameworkServlet.processRequest(FrameworkServlet.java:1006)
	at org.springframework.web.servlet.FrameworkServlet.doGet(FrameworkServlet.java:898)
	at javax.servlet.http.HttpServlet.service(HttpServlet.java:645)
	at org.springframework.web.servlet.FrameworkServlet.service(FrameworkServlet.java:883)
	at javax.servlet.http.HttpServlet.service(HttpServlet.java:750)
	at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:227)
	at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:162)
	at org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:53)
	at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:189)
	at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:162)
	at org.springframework.web.filter.RequestContextFilter.doFilterInternal(RequestContextFilter.java:100)
	at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:117)
	at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:189)
	at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:162)
	at org.springframework.web.filter.FormContentFilter.doFilterInternal(FormContentFilter.java:93)
	at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:117)
	at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:189)
	at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:162)
	at org.springframework.boot.actuate.metrics.web.servlet.WebMvcMetricsFilter.doFilterInternal(WebMvcMetricsFilter.java:96)
	at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:117)
	at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:189)
	at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:162)
	at org.springframework.web.filter.CharacterEncodingFilter.doFilterInternal(CharacterEncodingFilter.java:201)
	at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:117)
	at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:189)
	at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:162)
	at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:177)
	at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:97)
	at org.apache.catalina.authenticator.AuthenticatorBase.invoke(AuthenticatorBase.java:541)
	at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:135)
	at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:92)
	at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:78)
	at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:360)
	at org.apache.coyote.http11.Http11Processor.service(Http11Processor.java:399)
	at org.apache.coyote.AbstractProcessorLight.process(AbstractProcessorLight.java:65)
	at org.apache.coyote.AbstractProtocol$ConnectionHandler.process(AbstractProtocol.java:891)
	at org.apache.tomcat.util.net.NioEndpoint$SocketProcessor.doRun(NioEndpoint.java:1784)
	at org.apache.tomcat.util.net.SocketProcessorBase.run(SocketProcessorBase.java:49)
	at org.apache.tomcat.util.threads.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1191)
	at org.apache.tomcat.util.threads.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:659)
	at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
	at java.lang.Thread.run(Thread.java:750)
Caused by: org.apache.ibatis.exceptions.PersistenceException: 
### Error querying database.  Cause: java.lang.NumberFormatException: For input string: "dB1"
### The error may exist in file [E:\newWor\xyd-intelligent-om\base-data\target\classes\mapper\BaseDataMapper.xml]
### The error may involve com.ruoyi.basedata.mapper.BaseDataMapper.selectAllBYTableName
### The error occurred while handling results
### SQL: select * from `ads(1)`;
### Cause: java.lang.NumberFormatException: For input string: "dB1"
	at org.apache.ibatis.exceptions.ExceptionFactory.wrapException(ExceptionFactory.java:30)
	at org.apache.ibatis.session.defaults.DefaultSqlSession.selectList(DefaultSqlSession.java:153)
	at org.apache.ibatis.session.defaults.DefaultSqlSession.selectList(DefaultSqlSession.java:145)
	at org.apache.ibatis.session.defaults.DefaultSqlSession.selectList(DefaultSqlSession.java:140)
	at sun.reflect.GeneratedMethodAccessor99.invoke(Unknown Source)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.mybatis.spring.SqlSessionTemplate$SqlSessionInterceptor.invoke(SqlSessionTemplate.java:427)
	... 62 common frames omitted
Caused by: java.lang.NumberFormatException: For input string: "dB1"
	at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65)
	at java.lang.Integer.parseInt(Integer.java:580)
	at java.lang.Integer.parseInt(Integer.java:615)
	at org.apache.ibatis.reflection.wrapper.BaseWrapper.setCollectionValue(BaseWrapper.java:80)
	at org.apache.ibatis.reflection.wrapper.MapWrapper.set(MapWrapper.java:53)
	at org.apache.ibatis.reflection.MetaObject.setValue(MetaObject.java:140)
	at org.apache.ibatis.executor.resultset.DefaultResultSetHandler.applyAutomaticMappings(DefaultResultSetHandler.java:567)
	at org.apache.ibatis.executor.resultset.DefaultResultSetHandler.getRowValue(DefaultResultSetHandler.java:403)
	at org.apache.ibatis.executor.resultset.DefaultResultSetHandler.handleRowValuesForSimpleResultMap(DefaultResultSetHandler.java:355)
	at org.apache.ibatis.executor.resultset.DefaultResultSetHandler.handleRowValues(DefaultResultSetHandler.java:329)
	at org.apache.ibatis.executor.resultset.DefaultResultSetHandler.handleResultSet(DefaultResultSetHandler.java:302)
	at org.apache.ibatis.executor.resultset.DefaultResultSetHandler.handleResultSets(DefaultResultSetHandler.java:195)
	at org.apache.ibatis.executor.statement.PreparedStatementHandler.query(PreparedStatementHandler.java:65)
	at org.apache.ibatis.executor.statement.RoutingStatementHandler.query(RoutingStatementHandler.java:79)
	at sun.reflect.GeneratedMethodAccessor102.invoke(Unknown Source)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.ibatis.plugin.Plugin.invoke(Plugin.java:64)
	at com.sun.proxy.$Proxy217.query(Unknown Source)
	at org.apache.ibatis.executor.SimpleExecutor.doQuery(SimpleExecutor.java:63)
	at org.apache.ibatis.executor.BaseExecutor.queryFromDatabase(BaseExecutor.java:325)
	at org.apache.ibatis.executor.BaseExecutor.query(BaseExecutor.java:156)
	at org.apache.ibatis.executor.CachingExecutor.query(CachingExecutor.java:109)
	at com.baomidou.mybatisplus.extension.plugins.MybatisPlusInterceptor.intercept(MybatisPlusInterceptor.java:81)
	at org.apache.ibatis.plugin.Plugin.invoke(Plugin.java:62)
	at com.sun.proxy.$Proxy216.query(Unknown Source)
	at com.github.pagehelper.PageInterceptor.intercept(PageInterceptor.java:151)
	at org.apache.ibatis.plugin.Plugin.invoke(Plugin.java:62)
	at com.sun.proxy.$Proxy216.query(Unknown Source)
	at org.apache.ibatis.session.defaults.DefaultSqlSession.selectList(DefaultSqlSession.java:151)
	... 68 common frames omitted
【大模型应用开发 动手做AI Agent】LlamaIndex和基于RAG的AI开发
AI天才研究院
05-27 1233
随着人工智能技术的飞速发展,大语言模型(Large Language Models, LLMs)在各个领域得到了广泛应用。LLMs通过从大规模文本语料中学习,可以生成连贯、自然的文本,完成复杂的自然语言处理任务。然而,LLMs仍然存在知识储备有限、推理能力不足等问题。为了进一步增强LLMs的能力,学术界和工业界开始探索LLMs与其他技术的结合,比如知识图谱、检索增强生成(Retrieval-Augmented Generation, RAG)等。
LlamaIndex-01-starter
mitujx的博客
06-23 681
在创建文档时，您还可以附加有用的元数据。添加到文档中的任何元数据都将复制到从其相应源文档创建的节点。默认情况下，我们使用OpenAI的模型。您可以选择在构建索引时使用另一个LLM。根据所使用的索引，我们使用默认提示词模板来构建索引（以及插入/查询）。LlamaIndex的核心使命是为大型语言模型（LLM）和您的私人外部数据提供接口。在过去的几个月中，它已成为最受欢迎的开源框架之一，用于LLM数据增强（上下文增强生成），适用于各种用例：问答、摘要、结构化查询等。
LlamaIndex快速构建RAG解决大模型的幻觉问题
weixin_41688410的博客
02-10 1672
LlamaIndex 是一个开源框架，用于快速构建检索增强生成（RAG）应用。它可以帮助开发者将检索组件（如向量数据库）与语言生成模型（如 LLM）结合，高效地处理和检索文档数据，从而生成更准确、更有依据的内容在生成式 AI 的快速发展中，大模型的幻觉问题一直是制约其广泛应用的关键挑战之一。幻觉现象不仅降低了模型输出的可信度，还可能在实际应用中引发严重后果。为了解决这一问题，检索增强生成（RAG）技术应运而生，通过结合信息检索和语言生成，显著提升了生成内容的准确性和可靠性。
LlamaIndex 项目安装和配置指南
gitblog_09487的博客
09-13 937
LlamaIndex 项目安装和配置指南 llama_index 项目地址: https://gitcode.com/gh_mirrors/lla/llama_index ...
llamaIndex使用简讲
qq_47003799的博客
03-05 1062
llamaIndex构建RAG基本流程分解概述，组件简讲。
llamaindex-RAG实例
Loss
03-19 274
从modelscope上下载deepseek-r1:1.5b。测试两次，出现幻觉问题。
使用LlamaIndex构建RAG
wengad的博客
10-05 1311
LlamaIndex是一个数据框架，它主要用于连接大型语言模型（LLMs）与外部数据源，例如API、PDF文档、SQL数据库等。这个框架的设计目的是为了增强LLM的能力，使其能够理解和生成更准确、更有上下文关联的文本，尤其是在涉及私人数据或特定领域知识的情况下。LlamaIndex通过创建索引结构来组织和访问数据，这样可以更高效地检索相关信息并将其提供给LLM。这些索引可以是列表索引、向量索引、树索引或关键词索引等，具体取决于数据类型和需求。
【书生浦语大模型实战营第三期】基础岛 InternLM + LlamaIndex RAG 实践
weixin_40574825的博客
08-04 1029
llamaindex+Internlm2 RAG实践。
【从零开始系列】Qwen2.5 & Llama-Factory：开源语言大模型+训练平台——（超详细、最新版）一篇文章解决：环境搭建 =＞ 微调训练 =＞ 本地部署
qq_58718853的博客
01-13 5949
使用llama-factory大语言模型微调高效平台，对qwen2.5官方预训练模型进行微调并部署
LLM之RAG之LlaMAIndex：llama-index(一块轻快构建索引来查询本地文档的数据框架神器)的简介、安装、使用方法之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
11-06 5645
​ LLM之RAG之LlaMAIndex：LlamaIndex(一块轻快构建索引来查询本地文档的数据框架神器)的简介、安装、使用方法之详细攻略 目录 LlamaIndex的简介 LlamaIndex的安装 LlamaIndex的使用方法 LlamaIndex的简介 LlamaIndex是一个数据框架，用于基于LLM的应用程序摄取、构建和访问私有或特定领域的数据。它可以在Python(这些文档)和Typescript中使用。 LLM提供了人与数据之间的自然语言接口。广泛
最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）
Y525698136的博客
08-07 1417
最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）
LlamaIndex 实现 RAG （一）
hawk2014bj的博客
08-22 1537
本文简单实现 RAG 的流程，并实现了可视化页面，关于文档的切分以及 RAG 不同组件的详细讲解，会在后续文章继续分享。代码地址：https://gitcode.com/hawk2014bj/llamaindex/overview源代码也可以从资源中下载。
使用 LlamaIndex 构建 RAG 应用程序
最新发布
分享各种技术文章，给大家带来不一样的视野。
04-28 677
LlamaIndex（原名 GPTIndex）是一个用于构建 LLM 驱动应用程序的 Python 框架。它充当自定义数据源和大型语言模型之间的桥梁，简化了数据提取、索引和查询。LlamaIndex 内置支持各种数据源、矢量数据库和查询接口，是 RAG 应用的一体化解决方案。它还能与 LangChain、Flask 和 Docker 等工具无缝集成，使其在实际应用中具有高度的灵活性。在此处探索 LlamaIndex 的官方 GitHub 存储库。
【RAG 实践】LlamaIndex 快速实现一个基于 OpenAI 的 RAG
VLyb
07-13 1590
一个使用 LlamaIndex 实现的 RAG demo
基于Llamaindex的本地向量与大模型RAG搭建流程
大数据，大模型，服务器，技术、架构，方案
11-19 1326
本文展示了 Llamaindex + Chunk + Local Embed +Ollama + RAG 的全流程代码。这里设置了 Ollama 作为语言模型，并指定了其 API 的基础 URL、使用的模型名称以及请求超时时间。这里查询的是关于“dify 的开源协议”的信息。从指定目录中读取文档，并使用设置好的嵌入模型和分词器将这些文档转换为向量存储索引。嵌入模型，用于将文本转换为向量表示。
快速开始使用LlamaIndex: 从安装到OpenAI集成
ppoojjj的博客
06-18 1831
如果您不使用OpenAI，或者希望进行更有选择性的安装，可以根据需要安装单个包。例如，对于本地设置和HuggingFace嵌入，安装命令可以是：sh。
LlamaIndex环境配置
qq_51907069的博客
01-18 612
llamaindex环境的各个包的版本
llama_index，一个超强的 Python 库！
涛哥聊Python
07-25 1989
llama_index库是一个功能强大且易于使用的索引和检索工具，能够帮助开发者高效地处理各种类型的数据。通过支持基本的索引和检索功能、复杂查询、分页检索和索引分析，llama_index库能够满足各种信息检索需求。本文详细介绍了llama_index库的安装方法、主要特性、基本和高级功能，以及实际应用场景。希望本文能帮助大家全面掌握llama_index库的使用，并在实际项目中发挥其优势。无论是在文档管理系统、客户评论分析还是学术文献检索中，llama_index库都将是一个得力的工具。
llamaindex 多模态RAG
02-05
### LlamaIndex 多模态 RAG 实现 LlamaIndex 支持多种数据类型的接入与处理，这使得它成为构建多模态检索增强生成（RAG）系统的理想选择[^1]。为了实现这一目标，LlamaIndex 结合了不同种类的数据连接器、索引机制以及强大的查询引擎。 #### 数据连接器支持多样化输入源 对于多模态数据的支持始于数据收集阶段。LlamaIndex 的数据连接器可以从多个异构资源中提取信息，包括但不限于APIs、PDF文档、SQL数据库等。这意味着无论是文本还是多媒体文件中的内容都可以被纳入到后续的分析流程之中。 #### 统一化的中间表示形式 一旦获取到了原始资料之后，下一步就是创建统一而高效的内部表达方式——即所谓的“中间表示”。这种转换不仅简化了下游任务的操作难度，同时也提高了整个系统的性能表现。尤其当面对复杂场景下的混合型数据集时，良好的设计尤为关键。 #### 查询引擎助力跨媒体理解能力 借助于内置的强大搜索引擎组件，用户可以通过自然语言提问的形式轻松获得所需答案；而对于更复杂的交互需求，则提供了专门定制版聊天机器人服务作为补充选项之一。更重要的是，在这里实现了真正的语义级关联匹配逻辑，从而让计算机具备了一定程度上的‘认知’功能去理解和回应人类意图背后所蕴含的意义所在。 #### 应用实例展示 考虑到实际应用场景的需求多样性，下面给出一段Python代码示例来说明如何利用LlamaIndex搭建一个多模态RAG系统： ```python from llama_index import GPTSimpleVectorIndex, SimpleDirectoryReader, LLMPredictor, PromptHelper, ServiceContext from langchain.llms.base import BaseLLM import os def create_multi_modal_rag_system(): documents = SimpleDirectoryReader(input_dir='./data').load_data() llm_predictor = LLMPredictor(llm=BaseLLM()) # 假设已经定义好了具体的大型预训练模型 service_context = ServiceContext.from_defaults( chunk_size_limit=None, prompt_helper=PromptHelper(max_input_size=-1), llm_predictor=llm_predictor ) index = GPTSimpleVectorIndex(documents, service_context=service_context) query_engine = index.as_query_engine(similarity_top_k=2) response = query_engine.query("请描述一下图片里的人物表情特征") print(response) ``` 此段脚本展示了从加载本地目录下各类格式文件开始直到最终完成一次基于相似度排序后的top-k条目返回全过程。值得注意的是，“query”方法接收字符串参数代表使用者想要询问的内容，而在后台则会自动调用相应的解析模块并结合先前准备好的知识库来进行推理计算得出结论。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值