- 博客(19)
- 收藏
- 关注
RSS订阅原创 多模态大语言模型 MLLM 部署微调实践
# 1.导入相关依赖包## 2.使用你的模型初始化推理管线## 3.读取图片（此处使用PIL读取也行）## 4.配置推理参数## 5.利用 pipeline.chat 接口 进行对话，需传入生成参数## 6.之后的对话轮次需要传入之前的session，以告知模型历史上下文。
2024-12-11 16:45:08
1319
原创 大模型 LMDeploy 量化部署
关于Function call，即函数调用功能，它允许开发者在调用模型时，详细说明函数的作用，并使模型能够智能地根据用户的提问来输入参数并执行函数。此时对于24GB的显卡，即30%A100，权重占用14GB显存，剩余显存24-14=10GB，因此kv cache占用10GB*0.8=8GB，加上原来的权重14GB，总共占用14+8=22GB。“组团”挑选显著权重权重。模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、kv cache占用的显存，以及中间运算结果占用的显存。
2024-12-09 21:11:01
1253
1
原创 AgentLego：组装大模型智能体“乐高”
AgentLego是一个提供了多种开源工具 API 的多模态工具包，旨在像是乐高积木一样，让用户可以快速简便地拓展自定义工具，从而组装出自己的智能体。
2024-12-04 16:03:36
1042
原创 Lagent：轻松制作属于你自己的智能体 Agent
智能体是一种能够自主感知环境并根据感知结果采取行动的实体，以感知序列为输入，以动作作为输出的函数。它可以以软件形式（如聊天机器人、推荐系统）存在，也可以是物理形态的机器（如自动驾驶汽车、机器人）。自主性：能够在没有外部干预的情况下做出决策。交互性：能够与环境交换信息。适应性：根据环境变化调整自身行为。目的性：所有行为都以实现特定目标为导向。
2024-12-03 21:59:16
1327
原创 Git 使用
GitHub是全球最大的代码托管平台之一，拥有丰富的开源项目和活跃的开发者社区。它提供了版本控制、项目管理、协作开发等功能，并支持多种编程语言。GitLab一个自托管或基于云的平台，提供了完整的 DevOps 工具链，包括代码托管、持续集成/持续部署（CI/CD）、问题跟踪等。Gitee国内的代码托管平台，提供了代码托管、项目管理、协作开发等功能，对国内开发者来说，访问速度可能更快，也更符合国内的使用习惯。路径 ./icamp4/id.md。
2024-12-03 15:36:03
633
原创 OpenCompass 大语言模型测评
OpenCompass（司南）是由上海人工智能实验室开源的一款大模型评测平台，旨在为AI研究者、模型开发者及企业决策者提供一个公平、开放和可复现的大模型评测环境。OpenCompass提供了 API 模式评测和本地直接评测两种方式。其中 API 模式评测针对那些以 API 服务形式部署的模型，而本地直接评测则面向那些可以获取到模型权重文件的情况。
2024-12-03 11:21:44
1478
原创 大语言模型微调与 XTuner 微调实战
大语言模型微调（Fine-tuning of Large Language Models）是指在预训练的大型语言模型基础上，使用特定任务的数据进一步训练模型，以使其更好地适应和执行特定任务的过程，用于使LLM（Large Language Models）获得处理特殊任务的能力。
2024-12-01 16:07:16
1483
原创 RAG (Retrieval Augmented Generation) 检索增强生成
是一种结合了检索（Retrieval）和生成（Generation）的技术，旨在通过利用外部知识库来增强大型语言模型（LLMs）的性能。它通过检索与用户输入相关的信息片段，并结合这些信息来生成更准确、更丰富的回答。正式介绍检索增强生成（Retrieval Augmented Generation，RAG）技术以前，大家不妨想想为什么会出现这样一个技术。给模型注入新知识的方式，可以简单分为两种方式，一种是内部的，即更新模型的权重，另一个就是外部的方式，给模型注入格外的上下文或者说外部信息，不改变它的的权重。
2024-11-29 22:37:51
2352
原创 提示工程实践
提示工程是一种通过设计和调整输入(Prompts)来改善模型性能或控制其输出结果的技术。在模型回复的过程中，首先获取用户输入的文本，然后处理文本特征并根据输入文本特征预测之后的文本，原理为next token prediction，类似我们日常使用的输入法。指令要清晰提供参考内容复杂的任务拆分成子任务给 LLM“思考”时间(给出过程)使用外部工具系统性测试变化在提示工程中，第一点给出清晰的指令是至关重要的。
2024-11-29 17:06:26
1179
原创 书生大模型全链路开源开放体系
书生大模型使用了OpenCompass作为评测框架，其特点包括全面性、多维度指标和对比分析，提供全面的模型能力测试，帮助开发者识别模型的优劣和改进方向。大模型智能体是指基于大型语言模型构建的智能体，具有强大的语言理解和处理能力，可以自动化地完成各种复杂的任务。书生大模型的部署采用了LMdeploy工具，这是一套完整的大模型部署解决方案，支持模型压缩和优化、GPU部署和自动化部署流程，提高推理速度和运行效率。
2024-11-28 20:52:34
300
原创 使用Hugging Face下载模型并使用
尽管他们的聊天机器人项目并未取得预期的成功，但他们在GitHub上开源的Transformers库却意外地在机器学习领域引起了巨大轰动。如今，Hugging Face已经发展成为一个拥有超过100,000个预训练模型和10,000个数据集的平台，被誉为机器学习界的GitHub。下载速度跟网速和模型参数量大小相关联，如果网速较慢的小伙伴可以只尝试下载1.8b模型对应的config.json文件以及其他配置文件。创建好环境后，可以进入网页版VSCode的界面，这就是CodeSpace提供给我们的在线编程环境。
2024-11-28 16:52:38
2227
原创 SSH连接与端口映射
端口映射是一种网络技术，它可以将外网中的任意端口映射到内网中的相应端口，实现内网与外网之间的通信。通过端口映射，可以在外网访问内网中的服务或应用，实现跨越网络的便捷通信。端口映射实现步骤，可访问端口转发+内网映射。
2024-11-27 15:31:02
1598
转载 UML类图中的六大关系：关联(单向、双向、自关联)、聚合、组合、依赖、继承、实现
一、简介 在UML类图中，类之间的关系可以分成：关联(association)、聚合(aggregation)、组合(composition)、依赖(dependency)、泛化(generalization)/继承(inheritance)和实现(realization)。这六种关系如下图所描绘： 上面的关系可以.
2020-05-22 16:11:39
14308
原创 子类可以继承父类的哪些成员？所有成员吗？
首先，子类可以继承父类所有的成员。1.对于特殊的 private 成员。子类仍然可以继承，但是子类此时没有使用权，不能直接访问，这时候若需要访问，只能调用父类的getter,setter方法来访问与赋值。...
2020-05-09 08:53:45
5390
2
原创 《Java 并发编程实战》学习内置锁可重入
《Java 并发编程实战》这是一个之前的问题，那时候查的各种博客解决的提供参考的博客：博客在第二章线程安全 重入这一小节有这样的一段话：“然而，如果内置锁是不可重入的。那么在调用super.dosomething时将无法获得Widget上的锁，因为这个锁已经被持有。”public class Widget { public synchronized void doSometh...
2020-05-04 21:25:22
214
原创 pta 给定一个字符串。请去除串中的数字并反转。
给定一个字符串。请去除串中的数字并反转。输入格式:原始串。输出格式:去除数字后的反转字符串。输入样例:he11ll00o w0or8ld!输出样例:!dlrow olleh代码如下import java.util.ArrayList;import java.util.Scanner;public class Main { public static void main(...
2020-04-29 20:03:22
5326
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人