weixin_57128596的博客

InternVL 是一种用于多模态任务的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。对于InternVL这个模型来说，它的vision模块就是一个微调过的ViT，llm模块是一个InternLM的模型。对于视觉模块来说，它的特殊之处在Dynamic High Resolution。ViT（Vision Transformer）是一种基于Transformer架构的图像分类模型。

界面完成 2 轮问答（问题不可与教程重复，作业截图需包括 gradio 界面问题和茴香豆回答）。知识库可根据根据自己工作、学习或感兴趣的内容调整，如金融、医疗、法律、音乐、动漫等（优秀学员必做）。准备embedding模型和reranker模型、7B的chat模型。修改配置文件中的向量模型和重排序模型以及chat模型。搭建标准版茴香豆知识助手，并使用。

自 v0.4.0 起，LMDeploy 支持在线 kv cache int4/int8 量化，量化方式为 per-head per-token 的非对称量化。1B代表10个亿参数，假如是16位浮点数（f16），也就是2个Byte，则模型的权重大小为：1 * 10^9 * 2 = 2GB；模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、kv cache占用的显存，以及中间运算结果占用的显存。会占用剩余显存的80%，我们可以缩小其比例，减少重复计算，优化推理服务性能机制。默认的比例为0.8。

Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。Arxiv 搜索Bing 地图Google 学术搜索Google 搜索 交互式IPython 解释器PPT Python 解释器我们将实现一个调用 MagicMaker API 以完成文生图的功能。首先，我们先来创建工具文件：然后，我们将下面的代码复制进入'dongman', # 动漫'guofeng', # 国风。

blog。

上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。1. 开源可复现：提供公平、公开、可复现的大模型评测方案**2. 全面的能力维度：**五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力**3. 丰富的模型支持：**已支持 20+ HuggingFace 及 API 模型。

微调（fine-tuning）是一种基于预训练模型，通过少量的调整（fine-tune）来适应新的任务或数据的方法。微调是在预训练模型的基础上，将模型中一些层的权重参数进行微调，以适应新的数据集或任务。预训练模型部分已经在大规模数据上得到了训练，它们通常是较为通用且高性能的模型，因此可以很好地作为新任务的起点。微调可以加快模型的收敛速度，降低模型过拟合的风险，并在不消耗过多计算资源的情况下获取较好的模型性能。（欢迎Star）！XTuner 一个大语言模型&多模态模型微调工具箱。

背景问题：近期相关研究发现，LLM在对比浮点数字时表现不佳，经验证，internlm2-chat-1.8b (internlm2-chat-7b)也存在这一问题，例如认为13.8

这个命令能够列出所有环境以及对应的路径。如果是更新到最新版本，就无需指定版本了。同样使用环境所在完整路径来列出。

【代码】书生大模型所需依赖。

【代码】从huggingface上获取模型。

【代码】书生大模型基础岛-第二关：8G 显存玩转书生大模型 Demo。

【代码】HttpUtil的定义。

1.购买服务器，2.在服务器上安装软件，3.编写程序意味着自己不再需要购买服务器，而是将其——>云服务器，但是海事需要自己安装服务器上的软件。意味着你既不需要购买服务器，也不需要在服务器上安装软件，只需要自己编写程序代码即可。而SaaS服务就比如像我们购买在线论坛或者网店等服务，意味着我们不再需要自己开发网站，只需要自己进行订阅使用即可。而系统的开发升级由开发商负责。

* 1.实现了Interceptor接口，并实现了两个拦截方法：update和query。当Mybatis执行update或query语句时，会自动调用intercept法。intercept方法首先获取当前执行的SQL语句，并计算执行该SQL语句所需的时间。然后，它将执行的结果返回给Mybatis。此外，此插件还会将执行时间大于1000毫秒、5000毫秒和10000毫秒的SQL语句记录到日志文件中。

Java中线程池的核心实现类是，可以通过该类地构造方法来构造一个线程池，我们先来看下ThreadPoolExecutor的整个继承体系我们可以通过去构造一个线程池**Executor接口：**提供了将任务的执行和线程的创建以及使用解耦开来的抽象ExecutorService接口继承了Executor接口，在Executor的基础上，增加了一些关于管理线程池本身的一些方法，比如查看任务的状态、stop/terminal线程池、获取线程池的状态等等。根据不同的线程池，设置名称，方便管理线程。

【代码】本地缓存工具类。

【代码】本地缓存工具类。

是 Java 8 中引入的一个类，用于实现异步编程并发任务的组合和处理。它提供了丰富的方法来处理异步计算的结果、任务的完成状态、异常处理等，使得编写非阻塞式、高效率的并发代码变得更加简单和灵活1异步计算和结果获取: 可以通过、CompletableFuture.runAsync() 等方法创建异步任务，并在后台线程中执行。通过get()方法可以获取异步计算的结果，如果计算还未完成，则会阻塞当前线程。// 异步执行任务return 42;});// 获取异步计算的结果，会阻塞当前线程2。

用户扫码公众号码，然后发一条消息：验证码，我们就会通过api回复一个随机的码存入Redis中（主要结构是loginCode.随机码，value为openId）在接收微信公众平台的回调请求时，该方法会对请求中的参数进行验证，确保这个请求是真实的，如果验证成功就会返回一个随机的字符串确保它的有效性；我们采用的是个人号登录方式，这样拿不到我们的userInfo用户信息，然后我们将用户发来的消息（xml消息体）中的。.当用户输入后点击登录就进入我们的注册模块，同时关联角色和权限，实现网关的统一鉴权。

【代码】SHA1算法。

package com.wyh.wx.utils;import org.dom4j.Document;import org.dom4j.Element;import org.dom4j.io.SAXReader;import java.io.ByteArrayInputStream;import java.io.InputStream;import java.nio.charset.StandardCharsets;import java.util.HashMap;import java

当我们配置了阿里云，腾讯云，minio等多个云存储厂商的业务代码时，如果我们要修改具体使用哪一种厂商的云存储，那么我们的controller层和service层就会需要改变业务代码；——>**3.**我们利用nacos动态路由，得到storage.type——>**4.**然后再在我们的StorageConfig配置类中进行判断，如果是minio的，就返回minio的业务实现类，将其注入容器中，这样就实现了我们的动态路由，我们只需修改nacos上的配置文件进行发布即可。

这样更切合业务并且代码操作更加简单，SpringBoot官方的设置也是当你手动注入一个RedisTemplate的Bean时，优先使用你手动注入的RedisTemplate。（如使用第二种的话，我需要。要求value值类型也为String，导致数据操作步骤繁琐，较为影响运行效率。所以我们一般重写一RedisTemplate，影响代码效率，存储起来也非常麻烦）这两种或多或少都有一些问题；对key所采用的序列化方式是。在存入Redis数据库时会被。

我们在服务器开发的过程中，，比如数据库连接，网络IO，大数据对象等。在大量使用这些对象时，如果不采用一些技术优化，就会造成一些不可忽略的性能影响。一种办法就是，每次创建的对象并不实际销毁，而是缓存在对象池中，下次使用的时候，不用再重新创建，直接从对象池的缓存中取即可。为了避免重新造轮子，我们可以使用优秀的开源对象池化组件，我们只需要根据自己的业务需求重写或实现部分接口即可，使用它可以快速的创建一个方便，简单，强大对象连接池管理类。</</</</