清辞292-优快云博客

如果pip install -e .安装未成功,请运行: 2.数据准备解压评测数据集到 data/ 处查看支持的数据集和模型如遇到错误mkl-service + Intel(R) MKL MKL_THREADING_LAYER=INTEL is incompatible with libgomp.so.1 ... 解决方案：如果一切正常，您应该看到屏幕上显示 “Starting inference process”：评测完成后，将会看到：

2024-04-23 09:00:03 476

原创【InternLM 实战营第二期笔记07】OpenCompass 大模型评测实战

OpenCompass是上海人工智能实验室开源的大模型评测平台，该平台具有一系列显著的特点和功能。首先，它提供了开源可复现的评测方案，保证了评测的公平、公开和可复现性。这为研究者提供了一个稳定可靠的基准，使得不同模型之间的比较更加准确和有意义。其次，OpenCompass在评测维度上非常全面，涵盖了学科、语言、知识、理解、推理等五大维度。

2024-04-22 21:20:31 1374

原创机器学习day1

人工智能三大概念人工智能（AI）、机器学习（ML）和深度学习（DL）人工智能：人工智能是研究计算代理的合成和分析的领域。人工智能是使用计算机来模拟，而不是人类的大脑。人工智能（AI）是一个广泛的概念，它涵盖了使计算机能够执行类似人类智能任务的技术和方法。AI的目标是使计算机系统能够理解和分析复杂的信息，从而做出决策、学习、推理、理解语言、识别模式等。AI的应用领域非常广泛，包括语音识别、自然语言处理、计算机视觉、机器人技术、专家系统等。机器学习：允许计算机无需明确地自动学习的研究领域。

2024-04-22 18:41:22 1258

原创【InternLM 实战营第二期笔记06】Lagent & AgentLego 智能体应用搭建

智能体的定义是指一个实体或系统，具备感知环境中的动态条件的能力，并能够根据这些条件采取动作来影响环境。此外，智能体还拥有推理能力，使其能够理解和解决复杂问题，产生推论，并确定合适的行动。这一概念最早由Hayes-Roth在1995年提出，作为其“适应性人工智能系统架构”的一部分。智能体通过感知、推理和行动这三个核心要素，在人工智能领域中扮演着重要角色，能够自主适应并处理复杂多变的环境。AgentLego是一个多模态工具包，旨在通过乐高积木式的快速简便方式，帮助用户拓展自定义工具，从而组装出自己的智能体。

2024-04-20 11:17:19 839

原创【InternLM 实战营第二期作业06】Lagent & AgentLego 智能体应用搭建

export WEATHER_API_KEY=在2.2节获取的API KEY# 比如 export WEATHER_API_KEY=1234567890abcdef。

2024-04-20 11:16:33 302

原创【InternLM 实战营第二期作业04】XTuner微调LLM:1.8B、多模态、Agent

涵盖了模型基本设置，如预训练模型的选择、数据集信息和训练过程中的一些基本参数（如批大小、学习率等）。：指定了用于训练的模型和分词器的具体类型及其配置，包括预训练模型的路径和是否启用特定功能（如可变长度注意力），这是模型训练的核心组成部分。：描述了数据处理的细节，包括如何加载数据集、预处理步骤、批处理大小等，确保了模型能够接收到正确格式和质量的数据。：配置了优化过程中的关键参数，如学习率调度策略和优化器的选择，这些是影响模型训练效果和速度的重要因素。

2024-04-19 21:02:29 920

原创【InternLM 实战营第二期笔记04】XTuner微调LLM:1.8B、多模态、Agent

XTuner是一款功能强大的软件，其设计旨在提供灵活且高效的微调策略与算法，以满足各类场景下的应用需求。其主要功能亮点体现在多个方面：首先，XTuner支持多种微调算法，无论是InternLM、Llama、Gemma，还是Mistral等，都能找到相应的优化策略。这种多样化的算法支持使得XTuner可以覆盖更广泛的场景，从而为用户提供更多的选择。其次，XTuner能够适配多种开源生态，如HuggingFace和ModelScope等。

2024-04-19 19:36:24 1298

原创【InternLM 实战营第二期作业05】LMDeploy 量化部署 LLM-VLM 实践

我们通过向lmdeploy传递附加参数，实现模型的量化推理，及设置KV Cache最大占用比例。在Python代码中，可以通过创建TurbomindEngineConfig，向lmdeploy传递参数。KV Cache是一种缓存技术，通过存储键值对的形式来复用计算结果，以达到提高性能和降低内存消耗的目的。在大规模训练和推理中，KV Cache可以显著减少重复计算量，从而提升模型的推理速度。开启 W4A16量化，调整KV Cache的占用比例为0.4。新建一个终端，激活conda环境。未完待续......

2024-04-14 20:21:16 840 1

原创【InternLM 实战营第二期笔记05】LMDeploy 量化部署 LLM-VLM 实践

模型部署是指将训练好的机器学习或深度学习模型集成到实际应用中，使其能够对外提供服务的过程。这通常涉及将模型从训练环境中导出，并将其部署到生产环境，以便在实际应用中使用。模型部署是实现机器学习或深度学习价值的关键环节，只有将模型部署到实际应用中，才能发挥其作用，为企业或个人带来实际效益。

2024-04-14 19:29:37 1424 1

原创【InternLM 实战营第二期作业03】茴香豆：搭建你的RAG智能助理

通过对上述正例问题的分析，我们可以看到茴香豆对于数据分析领域的相关知识库掌握得相当扎实。它能够针对不同的数据分析场景和需求，提出恰当且具体的问题，显示出其对于数据清洗、预处理、可视化、时间序列分析、机器学习应用、关联规则挖掘、模型评估、数据挖掘与数据分析的区别、聚类分析以及统计方法和测试选择等方面的深入理解。这些正例问题不仅有助于深化对数据分析领域的认识，同时也为数据分析的实践提供了有价值的指导。茴香豆的回答能力充分展现了其在数据分析领域的专业素养和扎实的知识储备。我上传了python数据分析的文档。

2024-04-14 14:41:19 1077 1

原创【InternLM 实战营第二期笔记03】茴香豆：搭建你的RAG智能助理

茴香豆是一个基于LLMs的领域知识助手，由书生浦语团队开发。它专门用于即时通讯工具中的群聊场景，为用户提供及时准确的技术支持和首动花问答服务。通过应用检索增强生成（RAG）技术，茴香豆能够理解和高效准确地回应与特定知识领域相关的复杂查询。它的应用场景广泛，包括智能客服的技术支持和领域知识对话，以及群聊中处理各种类型的信息。然而，随着用户数量的增加，群聊中的信息量巨大且内容多样，从技术讨论到闲聊应有尽有，这给茴香豆带来了一定的挑战。

2024-04-14 11:21:43 1109 1

原创【InternLM 实战营第二期作业02】轻松玩转书生·浦语大模型趣味 Demo

【代码】轻松玩转书生·浦语大模型趣味 Demo | 作业。

2024-04-13 19:42:34 330

原创【InternLM 实战营第二期笔记02】轻松玩转书生·浦语大模型趣味 Demo

软链接为用户提供了更加灵活和便捷的文件和目录访问方式，并在多种场景下都有其独特的用途。但同时，由于软链接只是指向目标文件的路径，如果目标文件被移动、重命名或删除，软链接可能会失效。因此，在使用软链接时需要注意保持目标文件的稳定性。大语言模型研发的突破性的图文多模态大模型，具有非凡的图文写作和图像理解能力。打开 PowerShell 后，先查询端口，再根据端口键入命令。打开 PowerShell 后，查询端口，根据端口键入命令。输入指令，构造软链接快捷访问方式。查询端口，根据端口键入命令。

2024-04-13 19:22:41 712

原创【InternLM 实战营第二期笔记01】书生·浦语大模型全链路开源体系+InternLM2技术报告

InternLM2是一个开源的大型语言模型（LLM），它在多个维度和基准测试中展现出了超越先前方法的能力。该模型通过创新的预训练和优化技术，在长序列建模和开放性主观评估方面表现突出。报告详细阐述了InternLM2的基础设施、模型结构、预训练数据、预训练设置、预训练阶段、对齐策略、评估和分析等内容。主要贡献模型开源与发布InternLM2以不同规模（18亿、70亿和200亿参数）的模型形式公开发布，这些模型在主观和客观评估中都展现出了卓越的性能。

2024-04-13 17:13:30 934

原创 InternLM实战营笔记和作业合集

书生·浦语全链条开源开放体系

2024-01-29 22:17:08 571

原创 OpenCompass大模型评测

本算法库的主要评测对象为语言大模型与多模态大模型。我们以语言大模型为例介绍评测的具体模型类型。：一般是经过海量的文本数据以自监督学习的方式进行训练获得的模型（如OpenAI的GPT-3，Meta的LLaMA），往往具有强大的文字续写能力。：一般是在的基座模型的基础上，经过指令微调或人类偏好对齐获得的模型（如OpenAI的ChatGPT、上海人工智能实验室的书生·浦语），能理解人类指令，具有较强的对话能力。

2024-01-25 16:38:51 1497

原创 LMDeploy大模型量化部署实战

LMDeploy是一个在英伟达设备上部署LLM（大语言模型）的全流程解决方案。它涵盖了模型轻量化、推理和服务三个主要部分。模型轻量化：这一部分主要涉及如何将大模型进行优化，以便在有限的计算资源上高效运行。LMDeploy通过一系列技术手段，如量化、压缩等，来实现模型的轻量化。推理：推理是模型部署的关键环节，涉及将输入数据输入模型并获得输出结果的过程。LMDeploy提供了高效的推理引擎，并对推理过程进行了深度优化，以提高推理速度和精度。服务。

2024-01-25 15:06:48 820

原创 XTuner大模型单卡低成本微调实战作业

XTuner大模型单卡低成本微调实战作业

2024-01-23 19:53:15 1155 1

原创 XTuner大模型单卡低成本微调实战

XTuner是一款强大的深度学习模型微调工具，它提供了多种微调算法和策略，旨在满足各种不同的场景和任务类型的需求。通过XTuner，用户可以轻松地对模型进行微调，提高模型的性能和准确性。功能亮点多种微调算法：XTuner支持多种微调算法，包括但不限于LlamaQWenBaiChuanChatGLM等。这些算法可以覆盖各类SFT场景任务类型，满足用户在不同场景下的需求。适配多种开源生态：XTuner可以适配多种开源生态，包括Alpaca、Flash、Attention、QLoRA等。

2024-01-22 15:48:13 703

原创基于 InternLM 和 LangChain 搭建你的知识库作业

复现课程知识库助手搭建过程。

2024-01-20 21:45:10 641

原创基于InternLM和LangChain搭建你的知识库

LangChain框架是一个开源工具，旨在通过为各种LLM（Large Language Model）提供通用接口来简化应用程序的开发流程。它帮助开发者自由构建LLM应用，使得开发过程更加便捷高效。LangChain框架通过提供通用接口和核心组成模块“链（Chains）”的设计，简化了LLM应用程序的开发流程，提高了开发效率。

2024-01-15 21:13:19 1301

原创轻松玩转书生·浦语大模型趣味 Demo作业

轻松玩转书生·浦语大模型趣味 Demo

2024-01-13 18:06:09 494 1

原创轻松玩转书生·浦语大模型趣味Demo

大模型指的是一种参数数量巨大、拥有庞大计算能力和参数规模的模型。简单来说，大模型就是一个拥有数十亿甚至数千亿个参数的超大规模神经网络模型。大模型的特点主要表现在以下几个方面。首先，大模型拥有强大的计算能力，能够在各种任务中展现出惊人的性能。其次，大模型具有强大的数据学习能力，能够从海量数据中提取有用的信息，从而在各种应用场景中发挥重要的作用。最后，大模型还具有强大的泛化能力，能够在训练数据之外的场景中实现出色的表现。大模型的应用场景非常广泛。

2024-01-11 20:57:02 1437

原创书生·浦语全链条开源开放体系

随着人工智能技术的不断进步，大型语言模型正成为研究的热点。从OpenAI GPT-3的模型到最近备受关注的ChatGPT，大型语言模型在不断进化，大型语言模型的关注度也在持续增长。随着技术的不断突破，大型语言模型的发展趋势将更加明显，为人工智能领域带来更多的创新和变革。

2024-01-11 12:35:20 1146

qq_74261455的博客

原创 [文心智能体平台】大榜情感咨询，解决你的情感问题

原创【文心智能体平台】如何开发一个恐怖故事小说生成器

原创创客贴：极简高效的智能平面设计神器测评

原创畅聊AI生成PPT，ChatPPT神奇测评

原创机器学习day4

原创机器学习day3

原创机器学习day2

原创【InternLM 实战营第二期作业07】OpenCompass 大模型评测实战