LLM大模型:LlamaIndex中的CustomLLM(本地加载模型)

前端---【一文看懂webpack打包文件CSS文件,WebPack打包CSS详细操作流程】 一. Webpake打包CSS完整流程 1.1第一步编写HTML和CSS结构的代码 1.1.1创建一个html的文件结构 1.1.2创建一个CSS文件结果的样式 1.1.3创建main.js结构文件 1.2第二步:在 webpack 配置文件中添加如下规则: 1.3第三步:安装 less 和 less-loader: 1.3.1npm i less less-loader -D 解释 1.4第四步 运行打包命令 二.打包文件报错 2.1解决报错 三.打包成功终端详细解释 一文看懂webpack 阅读详情

LlamaIndex 中接口基本上调用的是 OpenAI,如果想想调用自定义模型可以吗?答案当然是可以的。经过查找找到了自定义大语言模型的简单抽象基类 class CustomLLM(LLM)。

一.CustomLLM(LLM) 源码

只要子类必须实现 __init__、_complete、_stream_complete 和 metadata 方法即可。

class CustomLLM(LLM):
    """Simple abstract base class for custom LLMs.

    Subclasses must implement the `__init__`, `_complete`,
        `_stream_complete`, and `metadata` methods.
    """

    @llm_chat_callback()
    def chat(self, messages: Sequence[ChatMessage], **kwargs: Any) -> ChatResponse:
        chat_fn = completion_to_chat_decorator(self.complete)
        return chat_fn(messages, **kwargs)

    @llm_chat_callback()
    def stream_chat(
        self, messages: Sequence[ChatMessage], **kwargs: Any
    ) -> ChatResponseGen:
        stream_chat_fn = stream_completion_to_chat_decorator(self.stream_complete)
        return stream_chat_fn(messages, **kwargs)

    @llm_chat_callback()
    async def achat(
        self,
        messages: Sequence[ChatMessage],
        **kwargs: Any,
    ) -> ChatResponse:
        return self.chat(messages, **kwargs)

    @llm_chat_callback()
    async def astream_chat(
        self,
        messages: Sequence[ChatMessage],
        **kwargs: Any,
    ) -> ChatResponseAsyncGen:
        async def gen() -> ChatResponseAsyncGen:
            for message in self.stream_chat(messages, **kwargs):
                yield message

        # NOTE: convert generator to async generator
        return gen()

    @llm_completion_callback()
    async def acomplete(self, prompt: str, **kwargs: Any) -> CompletionResponse:
        return self.complete(prompt, **kwargs)

    @llm_completion_callback()
    async def astream_complete(
        self, prompt: str, **kwargs: Any
    ) -> CompletionResponseAsyncGen:
        async def gen() -> CompletionResponseAsyncGen:
            for message in self.stream_complete(prompt, **kwargs):
                yield message

        # NOTE: convert generator to async generator
        return gen()

    @classmethod
    def class_name(cls) -> str:
        return "custom_llm"

二.自定义 QwenCustomLLM

目标是实现可以从本地加载 Qwen 生态系统模型,具体实现如下所示:

from typing import Any

from llama_index import ServiceContext, SimpleDirectoryReader, SummaryIndex
from llama_index.llms import (
    CustomLLM,
    CompletionResponse,
    CompletionResponseGen,
    LLMMetadata,
)
from llama_index.llms.base import llm_completion_callback
from transformers import AutoTokenizer, AutoModelForCausalLM


class QwenCustomLLM(CustomLLM):
    context_window: int = 8192  # 上下文窗口大小
    num_output: int = 128  # 输出的token数量
    model_name: str = "Qwen-1_8B-Chat"  # 模型名称
    tokenizer: object = None  # 分词器
    model: object = None  # 模型

    def __init__(self, pretrained_model_name_or_path):
        super().__init__()

        # GPU方式加载模型
        self.tokenizer = AutoTokenizer.from_pretrained(pretrained_model_name_or_path, device_map="cuda", trust_remote_code=True)
        self.model = AutoModelForCausalLM.from_pretrained(pretrained_model_name_or_path, device_map="cuda", trust_remote_code=True).eval()

        # CPU方式加载模型
        # self.tokenizer = AutoTokenizer.from_pretrained(pretrained_model_name_or_path, device_map="cpu", trust_remote_code=True)
        # self.model = AutoModelForCausalLM.from_pretrained(pretrained_model_name_or_path, device_map="cpu", trust_remote_code=True)
        self.model = self.model.float()

    @property
    def metadata(self) -> LLMMetadata:
        """Get LLM metadata."""
        # 得到LLM的元数据
        return LLMMetadata(
            context_window=self.context_window,
            num_output=self.num_output,
            model_name=self.model_name,
        )

    @llm_completion_callback()  # 回调函数
    def complete(self, prompt: str, **kwargs: Any) -> CompletionResponse:
        # 完成函数
        print("完成函数")

        inputs = self.tokenizer.encode(prompt, return_tensors='pt').cuda()  # GPU方式
        # inputs = self.tokenizer.encode(prompt, return_tensors='pt')  # CPU方式
        outputs = self.model.generate(inputs, max_length=self.num_output)
        response = self.tokenizer.decode(outputs[0])
        return CompletionResponse(text=response)

    @llm_completion_callback()
    def stream_complete(
        self, prompt: str, **kwargs: Any
    ) -> CompletionResponseGen:
        # 流式完成函数
        print("流式完成函数")

        inputs = self.tokenizer.encode(prompt, return_tensors='pt').cuda()  # GPU方式
        # inputs = self.tokenizer.encode(prompt, return_tensors='pt')  # CPU方式
        outputs = self.model.generate(inputs, max_length=self.num_output)
        response = self.tokenizer.decode(outputs[0])
        for token in response:
            yield CompletionResponse(text=token, delta=token)


if __name__ == "__main__":
    # 定义你的LLM
    pretrained_model_name_or_path = r'L:\20230713_HuggingFaceModel\20230925_Qwen\Qwen-1_8B'
    llm = QwenCustomLLM(pretrained_model_name_or_path)


    # 定义你的服务上下文
    service_context = ServiceContext.from_defaults(
        llm=llm, embed_model="local:L:/20230713_HuggingFaceModel/BAAI_bge-large-zh"
    )

    # 加载你的数据
    documents = SimpleDirectoryReader("./data").load_data()
    index = SummaryIndex.from_documents(documents, service_context=service_context)

    # 查询和打印结果
    query_engine = index.as_query_engine()
    response = query_engine.query("花未眠")
    print(response)

基本思路是加载 LLM 和 Embedding 模型,然后将 data 作为知识库进行查询。因为代码注释详细,不再赘述。

如何系统的去学习大模型LLM ?

大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等问题热议不断。

事实上,抢你饭碗的不是AI,而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后,很多中小企业也陆续进场!超高年薪,挖掘AI大模型人才! 如今大厂老板们,也更倾向于会AI的人,普通程序员,还有应对的机会吗?

与其焦虑……

不如成为「掌握AI工具的技术人」,毕竟AI时代,谁先尝试,谁就能占得先机!

但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高。

针对所有自学遇到困难的同学们,我帮大家系统梳理大模型学习脉络,将这份 LLM大模型资料 分享出来:包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点,那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集,涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程(LLaLA/Meta/chatglm/chatgpt)

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1:AI大模型时代的基础理解

  • 目标:了解AI大模型的基本概念、发展历程和核心原理。

  • 内容:

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2:AI大模型API应用开发工程

  • 目标:掌握AI大模型API的使用和开发,以及相关的编程技能。

  • 内容:

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3:AI大模型应用架构实践

  • 目标:深入理解AI大模型的应用架构,并能够进行私有化部署。

  • 内容:

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4:AI大模型私有化部署

  • 目标:掌握多种AI大模型的私有化部署,包括多模态和特定领域模型。

  • 内容:

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)👈

​

Webpack配置编译SCSS 原文地址: https://justforuse.github.io/blog/2019/03/webpack-compile-scss/ 现在框架都提供了一套完整的编译配置,比如Vue; 有时只是需要编译scss文件,在使用gulp的方式时遇到了无法识别SCSS的~语法的问题,其实也可以通过一些配置来解决,只是觉得既然webpack是主流,那不妨总结一套专门编译scss的配置 webpack.c... 阅读详情

相关推荐

WebPack 4 +TypeScript 3 +Vue 2.5+SCSS 简单环境搭建

开发环境 VSCODE NPM包管理工具 环境 名称:node 版本:10.7.0 名称:npm 版本:6.1.0 名称:webpack 版本:4.16.5 名称:typescript 版本:3.0.1 名称:sass 版本:3.5.7 试验软件/包 名称:vue 版本:3.0.0-rc.11 名称:typescript 版本:3.0.1 安装步骤 项目...

学习就像吃饭一样,不可以太着急,否则就会咀嚼不完全,而不消化 3743

【Webpack】处理Sass和Scss资源详解

Sass(Syntactically Awesome Stylesheets)是一种扩展的 CSS 预处理器,允许开发者使用更加简洁的语法和变量、嵌套等特性编写 CSS 代码。Sass 语法:缩进式语法,使用缩进表示嵌套。Scss 语法:与 CSS 兼容的语法,使用大括号和分号。在现代开发中,Scss 语法更常用,因为它与标准的 CSS 语法更加兼容。无论你选择哪种语法,Sass 和 Scss 都能够极大地提高样式代码的可读性和可维护性。

lph159的博客 1814

手机刷双系统

刷机教程(https://www.geekeyes.cn/forum.php/forum.php?mod=viewthread&tid=492) 解锁教程(http://www.gioov.com/index.php/1386)   解锁教程 cmd下 进入adb目录( 如果环境变量配置了adb 可以直接在cmd 下输入命令) 手机连接电脑,确保usb 调试打开,然后手机连接电脑,...

超宇的博客 1万+

webpack配置全局scss

【代码】webpack配置全局scss。

maohangfei.cn 1680

centos7安装db2 version11.1

centos7安装db2 version11.1

AKA石头 1067

AMD锐龙笔记本隐藏玩法:分核降压+ PBO2超频全攻略(以5900HX/6900HX为例)

本文详细解析了AMD锐龙笔记本(以5900HX/6900HX为例)的分核降压与PBO2超频技术,帮助用户释放处理器隐藏性能。通过BIOS设置、Curve Optimizer参数调整及稳定性测试,实现性能提升与温度控制的完美平衡,适合硬件爱好者进阶调校。

weixin_30617737的博客 353

Webpack 配置完全指南(最全万字详解)

Webpack核心概念与配置指南:Webpack作为现代JavaScript应用的静态模块打包工具,其核心概念包括入口(Entry)、输出(Output)、加载器(Loaders)、插件(Plugins)和模式(Mode)。文章详细解析了开发与生产环境的完整配置方案,涵盖代码分割、缓存优化、性能调优等高级特性,并针对React/Vue项目提供了实战配置示例。重点介绍了常用Loader(Babel、CSS、PostCSS)和插件(HTML、CSS提取、压缩)的配置方法,以及开发服务器设置、模块联邦等高级功能。

油墨香^-^的博客 1759

.NET适配HarmonyOS进展 1. 前言

目前国产化系统浪潮下,适配鸿蒙是中国软件大势所趋,.NET作为最适合开发客户端语言之一,适配鸿蒙系统(HarmonyOS Next)是目前.NET开发者最关心的事情。我目前业余时间正在移植Avalonia到HarmonyOS,去年在.NET Conf CN上分享过,目前又取得一点进展,所以本文把所有问题进行整合与大家进行分享。

2301_76476890的博客 1463

vue+webpack+scss+jade(pug)的环境搭建

标签:vue,webpack,jade,scss 声明:转载须经本人同意 这篇博客就聊一聊如何用webpack搭建vue2.0的环境,以及拓展了下如何在搭建好的环境中使用scss以及pug(jade),废话不多说,直接进入主题。 第一步 准备工作 1.1首先要保证自己的环境中安装了node.js,我们可以通过命令行node -v查看 如果出现版本号,说明已经安装成功了。我这里的node版本是7....

weixin_34324081的博客 123

YOLOv10精度上不去?QAT量化感知训练全流程,INT8推理mAP只掉0.8%

普通PTQ量化虽简单,但无法应对YOLOv10的小目标特征和激活分布波动,导致精度暴跌。QAT通过“模拟量化误差+联合优化权重与量化参数”,让INT8模型精度接近FP16,同时速度提升1.8倍,完美适配实时检测场景(如安防监控、自动驾驶)。该流程已在工业级项目中验证,针对YOLOv10的优化策略(敏感层保护、小目标加权、分阶段训练)可直接迁移至其他YOLO系列(v8/v9),量化后精度损失均可控制在1%以内。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 916

光学传播仿真软件:SPEOS_(14).建筑物内光环境仿真

在建筑物内光环境仿真中,材料属性的定义直接影响光的传播和反射效果。SPEOS提供了丰富的材料库,但也可以自定义材料属性以满足特定需求。创建新材料选择Materials->。输入材料名称和类型。配置材料属性选择材料对象,打开属性编辑器。设置反射率、透射率、表面粗糙度和颜色。# 导入SPEOS模块# 创建新材料# 配置材料属性custom_material.set_reflectivity(0.8) # 设置反射率为0.8。

kkchenjj的博客 1251

vue + webpack + node + yarn + less + scss 项目环境搭建

一、安装node环境和安装yarn环境   1、下载地址为:https://nodejs.org/en/   2、检查是否安装成功:如果输出版本号,说明我们安装node环境成功 node -v npm -v (npm ,yarn包管理工具)   3、为了提高我们的效率,可以使用淘宝的镜像:http://npm.taobao.org/   输入:n...

疏雨萧萧千行泪 3683

PD详解 扩展消息——Source_Capabilities_Extended Message

PD的协议层分为控制消息,数据消息还有扩展消息,今天大师匈讲一下扩展消息中的source_cap_extended。这个消息在扩展消息中算是比较关键的东西。 扩展消息中的source_cap_extended 大师匈先上图,然后逐一解释; 上面的图表说了source_cap_ext中包含了哪些内容。 我们注意到在source_cap扩展消息中是以字节为单位的,并不是像source_cap中以一个object为单位,当然有注意到PD标准spec中说明的扩展消息的话,那里有说明,在header之后的字节

大师匈的博客 3521

【SCSS入门】2、安装和配置SCSS环境

Sass(Syntactically Awesome Stylesheets)是一种强大的CSS预处理器,它通过引入变量、嵌套、混合(mixins)、继承和函数等高级特性,显著增强了CSS的功能和灵活性。Sass允许你使用更简洁和模块化的语法来编写样式表,从而提高代码的可读性和可维护性。变量使得颜色、字体和其他值可以重复使用,嵌套规则让样式结构更加清晰,混合可以创建可重用的代码块,继承和函数则提供了更高级的样式控制。最终,Sass代码会被编译成标准的CSS,使其兼容所有浏览器。这种预处理器特别适用于大型项目

weixin_52938153的博客 6145

论文必备 - YOLOv8训练前一键扩充数据集,支持9种扩充方法,支持图像和标签同步扩充

在网络模型训练前,大量的数据集是必备的。而对于一些特殊场景中的特殊目标,大量的数据集往往难以获取,无法满足模型训练的基本需求。本文提供了,脚本可一键运行,。

Limiiiing的博客 771

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

webpack入门

1. 创建环境 创建一个webpack-demo的目录,该目录下有五个文件: index.html app.js module-1.js module-2.js index.scss cd ~/Desktop mkdir webpack-demo cd webpack-demo touch index.html app.js module-1.js index.scss npm init // ...

zhouyl02的博客 316

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

vue2+webpack4+scss

作者:心叶时间:2019年01月30日 10:37 前要 由于webpack的配置具有实时性,之前搭建的vue2项目是基于webpack2,因此,特地在此维护一篇关于webpack4搭建vue2项目的说明,会及时更新(github地址:https://github.com/yelloxing/...)。 基础配置 npm install ...

weixin_33814685的博客 580

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

sass环境搭建之node-sass,ruby

该内容全部为搬运,感谢作者的分享~,附有原文链接。 使用ruby环境 SASS学习系列之(一)--------- SASS,SCSS环境搭建(Ruby) 使用node-sass SASS学习系列之(二)--------- SASS,SCSS环境搭建(node-sass) 通过命令编译: npm run sass input.scss output.css sass-lo...

weixin_30512043的博客 354

如何为gh_mirrors/ca/card贡献代码:完整开发环境搭建与PR提交流程指南

gh_mirrors/ca/card是一个专注于优化信用卡表单体验的开源项目,仅需一行代码即可显著提升表单交互效果。本文将详细介绍如何搭建开发环境并通过PR流程贡献代码,帮助新手轻松参与到这个实用项目的开发中。 ## 开发前准备工作 在开始贡献代码前,需要确保你的开发环境满足以下基本要求: - Git版本控制系统 - Node.js环境(推荐使用LTS版本) - npm或yarn包管理工具

gitblog_00580的博客 816

使用webpack4从零构建React + React-router + Redux + Scss/Css开发环境

  前言       最近这几年,前端变化非常大,各种新框架应接不暇,从最开始几个html,css,js文件就搞定了前端,到现在前端的模块化,工程化,旨在构建出易于维护的前端系统。目前为止,前端三大框架Vue/React/Angular(Vue官网:https://cn.vuejs.org/index.html, React官网:https://reactjs.org/,Angular官网:h...

daydream13580130043的博客 1674

webpack

初始化WebPack 一、为什么会有webpack? 因为开发者编写的代码是模块化开发,.less .scss .vue .js等文件 开发者编写的代码是工程化 因为浏览器不能解析vue、react 、less 、scss 等工程化,模块化的代码,所以需要webpack 工具,将编写的模块化代码,进行编译/打包,然后在浏览器中运行的编译后或者打包后的代码。 二、webpack是什么? webpack是自动化构建工具 三、怎么搭建使用webpack的环境 依赖node.js npm 下载

qq_42673485的博客 256

webpack最新版本_Webpack+React+TypeScript+SCSS配置一站搞定

前言任何不讲版本的webpack相关的配置都是耍流氓!很多模块的不同版本之间,仿佛两个东西一样,这导致海量的教程只有少数能用的,占用我们大量的时间去搜索,而我这里要做的就是把它们系统的整理出来,形成一个切实可用的文档。好了,我们开始吧!PS:我用的基本都是最新版本,所以趟了不少坑!这里整个环境都是自己搭建的,没有使用create-react-app脚手架,大家可以参考我之前的教程:https://...

weixin_39854326的博客 295

从零开始搭建一个简单的基于webpack的vue开发环境

都8102年了,现在还来谈webpack的配置,额,是有点晚了。而且,基于vue-cli或者create-react-app生成的项目,也已经一键为我们配置好了webpack,看起来似乎并不需要我们深入了解。 不过,为了学习和理解webpack解决了前端的哪些痛点,还是有必要从零开始自己搭建一个简单的开发环境。本文的webpack配置参考了vue-cli提供webpack-simple 模板,这...

Liuqz2009的专栏 393

webpack的简单搭建

文章目录webpackwebpack 是什么?webpack 的特点?webpack的核心?webpack 手动搭建步骤 webpack sass gulp转换成css文件 一个页面很多个js文件,维护只能加 轻易不能删 页面的优化,js/html/css文件的压缩,图片压缩 webpack 是什么? 打包工具 (静态资源打包工具) 前端必备 webpack 的特点? 1. js依赖进行整合处理 (打包整合) 2. 一些预处理的sass,less可以在环境中进行编译 (转换) 3. 可以对js、

hrj970808的博客 201
上一篇: 从Llama-1到Llama-3,细数LLaMA的发展
下一篇: 一个开源的大语言模型(LLM)微调框架——LLaMA-Factory
AI_小站
博客等级 码龄3年 6255粉丝 1156原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值