- 博客(183)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 Xinference与Langchain-chatchat部署
本文主要借助大模型运行平台Xinference与本地知识库问答应用搭建工具实现在本地搭建一个知识库问答应用。后续将主要基于0.12.3版本的Xinference与0.2.10版本的Langchain-chatchat进行本地知识库的搭建。XinferenceXorbits Inference (Xinference) 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。
2024-11-19 14:32:54
1449
原创 书生大模型实战营-进阶关-Lagent 自定义你的 Agent 智能体
Lagent是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。'dongman', # 动漫'guofeng', # 国风'xieshi', # 写实'youhua', # 油画'manghe', # 盲盒] #风格] #尺寸else:else:@tool_apiArgs:Returns:"""try:}),
2024-08-21 16:02:10
504
原创 书生大模型实战营-基础关-OpenCompass 评测 InternLM-1.8B 实践
中评估一个模型通常包括以下几个阶段：配置 -> 推理 -> 评估 -> 可视化。打开 opencompass文件夹下。
2024-08-16 10:18:49
245
原创 书生大模型实战营-基础关-XTuner 微调个人小助手认知
对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型，而是一个额外的层（Adapter），训练完的这个层最终还是要与原模型进行合并才能被正常的使用。对于全量微调的模型（full）其实是不需要进行整合这一步的，因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ，因此是不需要进行模型整合的。的目录，里面存有训练过程中的日志，以及训练后的权重。训练结束后，会在工作目录下得到一个。
2024-08-14 22:26:49
332
原创 书生大模型实战营-基础关-浦语提示词工程实践
提示词(Prompt)是一种用于指导以大语言模型为代表的生成式人工智能生成内容(文本、图像、视频等)的输入方式。它通常是一个简短的文本或问题，用于描述任务和要求。提示词(Prompt)可以包含一些特定的关键词或短语，用于引导模型生成符合特定主题或风格的内容。例如，如果我们要生成一篇关于“人工智能”的文章，我们可以使用“人工智能”作为Prompt，让模型生成一篇关于人工智能的介绍、应用、发展等方面的文章。提示词(Prompt)还可以包含一些特定的指令或要求，用于控制生成文本的语气、风格、长度等方面。
2024-08-09 15:16:56
720
原创 书生大模型实战营-入门第1关-初识InternStudio开发机
端口映射是一种网络技术，它可以将外网中的任意端口映射到内网中的相应端口，实现内网与外网之间的通信。通过端口映射，可以在外网访问内网中的服务或应用，实现跨越网络的便捷通信。那么我们使用开发机为什么要进行端口映射呢？因为在后续的课程中我们会进行模型web_demo的部署实践，那在这个过程中，很有可能遇到web ui加载不全的问题。这是因为开发机Web IDE中运行web_demo时，直接访问开发机内 http/https 服务可能会遇到代理问题，外网链接的ui资源没有被加载完全。
2024-07-10 22:20:31
1319
翻译 windows安装Chocolatey包管理工具个人版
使用 PowerShell，必须确保 Get-ExecutionPolicy 不受限制。我们建议使用 Bypass 绕过策略来安装东西或 AllSigned 提高安全性。您必须选择与默认位置不同的位置（请参阅上面的安装到其他位置）。默认设置是只有管理员才能更新的更安全的位置。首先，确保您使用的是管理员shell，您也可以以非管理员身份安装，请查看非管理员身份安装。使用 powershell.exe 安装。
2024-03-29 09:06:47
250
原创 【一】爬虫基础
URI)是一个用于标识某一互联网资源名称的字符串。该种标识允许用户对任何（包括本地和互联网）的资源通过特定的协议进行交互操作。URI由包括确定语法和相关协议的方案所定义。Web上可用的每种资源，如，HTML文档、图像、视频片段、程序等，由一个通用资源标识符（, 简称URI）进行定位。
2023-06-29 14:34:27
311
原创 pytorch使用过程中的错误处理之内存溢出
RuntimeError: CUDA out of memory. Tried to allocate 12.74 GiB (GPU 0; 14.76 GiB total capacity; 1.19 GiB already allocated; 11.42 GiB free; 2.52 GiB reserved in total by PyTorch)
2022-07-13 16:06:49
3247
原创 对ndarray中符合条件的元素进行处理---numpy中的where函数
作用where函数的主要作用是：根据给定的条件返回相对应的值。使用方法import numpy as npnp.where(condition, [x, y])参数condition：给定条件；[x, y]：返回值，满足条件，返回x，否则返回y。实例import numpy as npa = np.arange(10)a输出：array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])对数组a，使用where函数，若是满足小于5的条件返回原值，否则翻1
2021-12-09 17:19:42
1907
原创 PIL图片与OpenCV图片的相互转换
PIL图片与OpenCV图片的相互转换是通过数组格式转换的。通过type()函数，我们可以观察到通过cv2.imread()函数得到的图片格式为numpy.ndarray；通过Image.open()函数得到的图片格式为PIL.JpegImagePlugin.JpegImageFile，而在Image中存在通过数组格式加载图像的方法Image.fromarray。因此，以数组格式作为中间者可实现PIL图片与OpenCV图片之间的相互转换，代码如下：import cv2import numpy as np
2021-11-16 11:15:28
6351
原创 adb下载
简介Android 调试桥 (adb)下载SDK Platform Tools 版本说明添加环境变量下载得到的是一个zip压缩包，解压后如下所示：依次点击我的电脑>属性>相关设置>高级系统设置>环境变量>系统变量>Path>新建将解压后的目录添加至环境变量测试打开命令行窗口，输入adb version，查看是否安装成功：C:\Users\XXX>adb versionAndroid Debug Bridge version 1.0.41
2021-10-27 10:26:59
3320
原创 PaddleOCR使用笔记之模型训练
简介PaddleOCR算法主要包含三个部分，分别是文本检测模型(detection)、文本识别模型(recognition)、方向分类器(classification)。文本检测模型(detection)模型介绍PaddleOCR开源的文本检测算法列表： DB(paper) [2]（ppocr推荐） EAST(paper)[1] SAST(paper)[4]在ICDAR2015文本检测公开数据集上，算法效果如下：模型骨干网络precisionrecallHmean
2021-09-28 11:49:19
9107
3
原创 PaddleOCR文本检测数据向文本识别数据的格式转换
在使用PaddleOCR官方提供的转换工具时出现问题，经过查看数据格式发现以下问题：文本检测的训练数据，可以在同一张图片上进行多个文本标注，最后形成的数据格式如下：" 图像文件名 json.dumps编码的图像标注信息"ch4_test_images/img_61.jpg [{"transcription": "MASA", "points": [[310, 104], [416, 141], [418, 216], [312, 179]]}, {...}]
2021-09-27 15:07:08
1253
原创 时间序列之自相关函数
相关系数两个随机变量XXX和YYY的相关系数定义如下：ρx,y=Cov(X,Y)Var(X)Var(Y)=E\begin{aligned}\rho_{x,y} &= \frac{Cov(X,Y)}{\sqrt{Var(X)Var(Y)}} \\&= \frac{E}{}\end{aligned}ρx,y=Var(X)Var(Y)Cov(X,Y)=E自相关函数(Autocorrelation Function,ACF)参考[1] Ruey S. Tsay.金融时
2021-09-18 09:59:13
7141
原创 jupyter安装IRkernel核时的报错整理
在使用下述命令安装时：install.packages(c('repr', 'IRdisplay', 'IRkernel'), type = 'source')得到以下错误：Warning in install.packages(lib = .libPaths()[1L], dependencies = NA, type = type) : 'lib = "D:/Program Files/R/R-4.1.0/library"' is not writableError in install.
2021-09-01 14:37:50
1013
原创 基于Ubuntu系统的docker镜像中安装dlib
问题背景：为了将face_recognition项目进行迁移，我们使用docker对其进行镜像打包，使用的DockerFile文件如下：# Start FROM Nvidia PyTorch image https://ngc.nvidia.com/catalog/containers/nvidia:pytorchFROM registry.baidubce.com/ais-public/ais2.3:cuda10.1_cudnn7-ubuntu16.04-py37ENV PATH=/home/b
2021-08-18 17:20:17
957
原创 Docker部署yolov5模型
准备工作部署过程中的环境如下：Centos7.6.1810(core 4.7.11)docker-18.09.7yolov5模型
2021-08-16 14:43:30
2877
1
原创 Python中文字符对齐
Python中常用的格式化输出为str.format()函数，关于str.format()函数中所涉及的语法如下：1.默认格式pattern = "{0}\t{1}\t{2}\t{3}\t{4}\t{5}"print(pattern.format("金种","实时主动积存价格","最低价","最高价","定期积存价","更新时间"))print(pattern.format("积存金",372.73,372.73,372.73,366.10,"2021-08-15 00:18:04"))输出如下
2021-08-15 19:41:15
3745
1
原创 信息熵介绍
熵在信息论与概率统计中，熵(entropy) 是表示随机变量不确定性的度量。设XXX是一个取有限个值的离散随机变量，其概率分布为：P(X=xi)=pi,i=1,2,⋯ ,nP(X=x_i)=p_i,i=1,2,\cdots,nP(X=xi)=pi,i=1,2,⋯,n则随机变量XXX的熵定义为：H(X)=−∑i=1npilogpi(1)H(X)=-\sum_{i=1}^n p_i \log p_i \tag{1}H(X)=−i=1∑npilogpi(1)上述公式中，当对数以
2021-08-03 11:01:42
323
原创 python中的位运算
什么是位运算程序中的所有数在计算机内存中都是以二进制的形式储存的。位运算就是直接对整数在内存中的二进制位进行操作。比如，and运算本来是一个逻辑运算符，但整数与整数之间也可以进行and运算。举个例子，666的二进制是110110110，111111的二进制是101110111011，那么6and116 and 116and11的结果就是222，它是二进制对应位进行逻辑运算的结果（000表示FalseFalseFalse，111表示TrueTrueTrue，空位都当000处理）。位运算符运算符通常在图形
2021-08-01 22:48:36
905
原创 梯度下降法
梯度下降(Gradient Descent)又称最速下降(steepest descent)，是求解无约束最优化问题的一种常用方法，梯度下降法是一种迭代算法，每一步都需要求解目标函数的梯度向量。
2021-07-26 17:32:04
103
转载 虚拟机扩容
一、环境虚拟机软件：VMware® Workstation 15 Pro系统版本：CentOS 7.6.1810二、扩容步骤1、VM上修改磁盘信息将虚拟机关机，然后点击VM顶部菜单栏中的显示或隐藏控制台视图按钮来显示已建立的虚拟机的配置信息然后左边菜单栏点击硬盘，在弹出的对话框选中硬盘，并点击扩展按钮，然后在弹出框中的最大磁盘大小修改未所需要的磁盘大小，比如我现在需要扩容30G，原本的磁盘大小是20G，所以我这里将原本的20G修改成50G，然后点击扩展2、在系统中挂载磁盘(1) 开启虚拟
2021-07-26 17:09:29
6383
5
原创 rpm本地更新centos内核
前提已经下载好要更新的rpm包安装rpm -ivh kernel-ml-4.17.11-1.el7.elrepo.x86_64.rpm输出以下内容：准备中... ################################# [100%]正在升级/安装... 1:kernel-ml-4.17.11-1.el7.elrepo ################################# [100%]查看系统上的所有可以内
2021-07-14 18:05:01
735
原创 Rasa2.5使用过程中的报错整理
NotImplementedError: typ "[‘safe’, ‘rt’]"not recognised (need to install plug-in?)pip install ruamel.yaml==0.16.5‘coroutine’ object is not iterable
2021-06-17 11:40:20
710
翻译 RaSa2.5.x配置之二：管道组件(Pipeline Components)
目录语言模型(Language Models)MitieNLPSpacyNLPHFTransformersNLP标记符(Tokenizers)空格标记符(WhitespaceTokenizer)参考组件(Components)组成NLU管道(pipeline)，并按顺序将用户输入处理为结构化输出。有用于实体提取(entity extraction)、意图分类(intent classification)、响应选择(response selection)、预处理(pre-processing)等的组件。语
2021-06-17 10:20:55
1828
翻译 意图与实体：理解Rasa NLU Pipeline
目录The NLU Pipeline组件分词器特征化器意图分类器实体提取器交互：消息传递预测行为(Predicting Actions)总结参考在Rasa项目中，NLU管道定义了处理步骤，将非结构化用户消息转换为意向和实体。它由一系列组件组成，可以由开发人员配置和定制。本指南的目的是解释组件在Rasa NLU管道中扮演的角色，以及它们如何相互作用。The NLU Pipeline在Rasa中，NLU管道是在config.yml文件中定义的。此文件描述了，Rasa通过使用管道检测意图和实体的所有步骤。
2021-06-10 12:00:21
1843
1
原创 使用py2neo连接虚拟机中的neo4j
第1步，虚拟机相关配置首先虚拟机设置为桥接模式，若是不熟悉，可参考Windows10系统下配置虚拟机VMware桥接模式，在文章Windows10系统下配置虚拟机VMware桥接模式中的配置虚拟系统的桥接模式步骤，建议选择NAT模式。第2步，修改neo4j配置查询虚拟系统的IP：ifconfig此步骤是基于neo4j已经安装完成，进入neo4j的安装目录，比如我的在neo4j-community-3.5.1\conf文件夹下，修改neo4j.conf文件中的下述命令，将IP地址改为上述命令查到的
2021-06-07 21:14:59
368
翻译 运行Rasa SDK服务--2.5.0版本
运行操作服务(action server)有两种方法，具体取决于您使用的环境是否安装了rasa：如果安装了rasa，则可以使用rasa命令运行操作服务：rasa run actions如果未安装rasa，则可以直接将操作服务作为python模块运行：python -m rasa_sdk --actions actions使用上面的命令，rasa_sdk将期望在名为actions.py的文件或名为actions的包目录中找到您的操作。可以使用--actions标志指定不同的actions模块或包
2021-06-07 09:41:56
590
翻译 RaSa2.5.x行为之四：表单(Forms)
目录UsageDefining a FormActivating a FormDeactivating a FormSlot Mappingsfrom_entityfrom_textfrom_intentfrom_trigger_intentWriting Stories / Rules for Unhappy Form PathsAdvanced UsageValidating Form InputCustom Slot MappingsDynamic Form BehaviorThe requested
2021-06-04 09:45:02
2745
Netron-Setup-4.7.3.exe
2021-01-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人