- 博客(251)
- 资源 (16)
- 收藏
- 关注
RSS订阅原创 基于xinference推理引擎 + glm4-9b-chat模型的本地化部署探索
【备注】从langchain-chatchat v0.3开始，所有的模型配置，均由推理模型（如：xinference ）进行加载和启动。4、启动xinference 的命令行方式对话。执行如下命令加载并执行embedding模型。xinference 中配置并启动模型。【备注】可以用-u自定模型的uid名字。【备注】可以用-u指定模型的uid名字。2、执行transformer推理。3、配置embedding。出现如下提示，表示执行成功。
2024-07-12 09:25:25
924
原创 pytorch如何将bin格式模型导出pt格式模型？
其中，model是要保存的模型，input是一个PyTorch张量，用于指定输入张量的形状和数据类型，path_to_file是保存路径和文件名。该函数将自动将模型转换为ONNX格式并保存到本地文件中。其中，model是要保存的模型，state_dict()是将模型中所有参数的值保存为一个字典，path_to_file是保存路径和文件名。需要说明的是，保存为.ONNX格式的模型可以被其他深度学习框架加载和使用。2. 将模型保存为ONNX格式。1. 将模型保存为.pt文件。用以下代码读取bin模型文件。
2023-09-12 10:18:53
3614
原创 WIN下使用 bitsandbytes 出现 CUDA Setup failed despite GPU being available.错误
试了很多方法都不成功，最后靠这条命令成功实现。
2023-09-11 14:56:54
489
原创 提取字符串中的数字
下面是一个例子，首先导入`re`模块，然后使用`re`模块中的`findall`函数来查找字符串中的数字，并将这些数字以字符串方式放入一个列表中。最后，使用`join`函数将这个列表中的数字组成一个新的字符串。来提取字符串中的数字以及其他模式。可以使用Python。
2023-07-10 16:52:31
574
原创 paddlenlp安装教程
根据提示，重新手动安装“seqeval”库，pip install seqeval ，安装默认最新版本的1.2.2 ，安装过程很顺利，也没有错误，但是再次运行，还是包同样错误。查了一下原因，根据github的提示，应该是 seqeval 要安装1.2.1 版本的，于是手动进行安装。1、安装paddlepaddle之前，要确保电脑已经安装了对应版本的cuda和cudaDNN。2、安装paddlepaddle，参考官网教程。一、安装paddlepaddle。二、安装paddlenlp。
2023-07-08 14:44:40
6448
1
原创 如何在训练过的yolov模型中增加新的识别类
2、看你模型目前能分多少类，如果只有2类，抱歉，只能全部重新训练。如果还有没用的类别，可以再训练时加载上次的best.pt（或last.pt--具体哪个效果好，还没进行实验验证）就行。1、对数据的权重对网络进行微调，epochs也不用设置得那么多了，原来适配于2种的权重用于3种的分类性能肯定会下降的。比如目前训练了一个3分类的模型，现在根据业务需要，新增加1个类别，如何进行数据集的构建及训练？有博主提示：不能加载best，只能加载last，best里面没有节点信息。
2023-06-08 15:24:11
4610
6
原创 查看airsim版本
1、在自己airsim的安装包目录下，找到\Unreal\Plugins\AirSim这个目录，进入后，打开AirSim.uplugin文件，即可看到自己安装的airsim的版本。如何查看airsim的版本号？
2023-04-27 15:16:08
390
原创 kitti数据集中---标注数据label_2
标注文件中16个属性，即16列。但我们只能够看到前15列数据，因为第16列是针对测试场景下目标的置信度得分，也可以认为训练场景中得分全部为1但是没有专门标注出来。下图是000001.txt的标注内容和对应属性介绍。激光雷达坐标系中，z方向是高度方向，x方向是汽车前进方向，前进左手边方向为y方向（车身方向），满足右手定则。
2023-04-10 11:07:16
1349
原创 机器人行业中我们常说的roll、yaw、pitch是什么？
pitch、yaw、roll三个角的区别（yaw angle 偏航角，steering angle 航向角的解释）
2022-08-24 17:01:35
18803
原创 搜索推荐中的 Position Bias
在搜索推荐系统中，Bias可以说无处不在。之前我们整理过搜索、推荐、广告中的曝光偏差问题，今天来看看 position bias。1. 什么是position biasPosition-Bias是指 item 在展示页面的排序位置，及其相对广告的位置等。经验和有关论文都告诉我们，这种位置会影响item的点击率。这种影响跟用户的「真实兴趣」无关，而是跟用户的注意力、用户对广告的情绪有关。例如有眼动实验表示用户会很少关注那些在列表靠下的item。离线分析显示，排在前面的文章一般比排在后面的文章点击率高
2022-03-28 16:11:09
597
原创 MMOE核心代码块
class MMoE_Layer(tf.keras.layers.Layer): def __init__(self,expert_dim,n_expert,n_task): super(MMoE_Layer, self).__init__() self.n_task = n_task self.expert_layer = [Dense(expert_dim,activation = 'relu') for i in range(n_expert).
2022-03-28 15:13:56
786
原创 Linux 查看文件指定行数 内容
1、taildate.log 输出文件末尾的内容，默认10行 tail -20 date.log 输出最后20行的内容 tail -n -20 date.log 输出倒数第20行到文件末尾的内容 tail -n +20 date.log 输出第20行到文件末尾的内容 tail -f date.log 实时监控文件内容增加，默认10行。2、head date.log ...
2022-03-16 11:18:44
7569
原创 网络中BN层的作用
BN层的作用主要有三个：加快网络的训练和收敛的速度 控制梯度爆炸防止梯度消失 防止过拟合分析： （1）加快收敛速度：在深度神经网络中中，如果每层的数据分布都不一样的话，将会导致网络非常难收敛和训练，而如果把 每层的数据都在转换在均值为零，方差为1 的状态下，这样每层数据的分布都是一样的训练会比较容易收敛。 （2）防止梯度爆炸和梯度消失：以sigmoid函数为例，sigmoid函数使得输出在[0,1]之间，实际上当x道了一定的大小，经过sigmoid函数后输出范围就会变得很小梯
2022-03-07 11:54:00
941
原创 self-attention为什么要除以根号d_k
一、因为softmax的输入很大时，其梯度会变的很小，趋近于0；二、除以根号Dk的目的就是使得，QK/Dk满足方差稳定到1，使得softmax的梯度不至于太小
2021-12-25 11:53:01
16371
3
转载 Bert-Bilstm-CRF基线模型详解&代码实现
这个系列我们来聊聊序列标注中的中文实体识别问题，第一章让我们从当前比较通用的基准模型Bert+Bilstm+CRF说起，看看这个模型已经解决了哪些问题还有哪些问题待解决。以下模型实现和评估脚本，详见 Github-DSXiangLi/ChineseNERNER问题抽象实体识别需要从文本中抽取两类信息，不同类型的实体本身token组合的信息（实体长啥样），以及实体出现的上下文信息（实体在哪里）一种解法就是通过序列标注把以上问题转化成每个字符的分类问题，label主要有两种其中BIO更常见些BIO：
2021-12-11 22:40:20
16014
2
转载 基于BERT+BiLSTM+CRF的中文景点命名实体识别
赵平, 孙连英, 万莹, 葛娜. 基于BERT+BiLSTM+CRF的中文景点命名实体识别. 计算机系统应用, 2020, 29(6): 169-174.http://www.c-s-a.org.cn/1003-3254/7269.htmlZhao P, Sun LY, Wan Y, Ge N. Chinese Scenic Spot Named Entity Recognition Based on BERT+BiLSTM+CRF. Computer Systems and Applicat...
2021-12-11 21:57:12
3492
1
转载 深度学习--前馈神经网络、反馈神经网络
这篇文章主要整理三部分内容，一是常见的三种神经网络结构：前馈神经网络、反馈神经网络和图网络；二是整理前馈神经网络中正向传播、误差反向传播和梯度下降的原理；三是梯度消失和梯度爆炸问题的原因及解决思路。一、神经网络结构目前比较常用的神经网络结构有如下三种：1、前馈神经网络前馈神经网络中，把每个神经元按接收信息的先后分为不同的组，每一组可以看做是一个神经层。每一层中的神经元接收前一层神经元的输出，并输出到下一层神经元。整个网络中的信息是朝着一个方向传播的，没有反向的信息传播（和误差反向传播不是一回
2021-07-26 22:19:35
49600
1
原创 推荐系统漫谈之流行度偏置（popularity bias）与数据链路（Feedback Loop）
推荐系统存在 popularity bias，即少部分物品被频繁曝光。系统记录下频繁曝光的日志，并基于日志数据制定推荐策略，这种反馈链路（Feedback Loop）进一步放大推荐系统的popularity bias，从而对推荐多样性、挖掘用户真实兴趣、用户体验等有着不利影响。引起popularity bias问题的原因可能有以下两个方面：1、数据bias：数据本身就存在严重bias，头部物品占了绝大多数曝光。2、算法bias：算法把头部物品频繁推荐给用户，使得数据bias进一步放大。动态来看，
2021-03-10 19:35:10
1409
原创 如何安装beatifulsoup
1. 什么是beatifulsoup?beatifulsoup官网http://www.crummy.com/software/BeautifulSoup/BeatifulSoup是用Python写的一个HTML/XML的解析器，它可以很好的处理不规范标记并生成剖析树(parse tree)。 它提供简单又常用的导航（navigating），搜索以及修改剖析树的操作。它可以大大节省你的编程时...
2019-10-11 15:48:05
387
转载 近似最近邻算法查找（ann）--01
Ann, Approximate Nearest Neighbor的缩写，就是近似最近邻搜索。在机器学习领域，语义检索，图像识别，推荐系统等方向常涉及到的一个问题是：给定一个向量X=[x1,x2,x3...xn]，需要从海量的向量库中找到最相似的前K个向量。通常这些向量的维度很高，对于在线服务，用传统的方法查找是非常耗时的，容易使得时延上成为瓶颈，因此业界通用的方式就是将最相似的查找转换成An...
2019-09-27 10:50:00
4341
原创 VIM设置tab和shift+>为4个空格
修改配置文件。第一步： 打开配置文件vim /etc/vimrc 或 vim ~/.vimrc前者时系统范围配置文件，后者是个人配置文件。第二步：在打开的文件中写入set ts=4 #等号的后面不要加空格，直接写4set expandtab 这样tab就是4个空格了。如果要修改 shift+> 时的缩进距离为4.第三步：同时写入set sm...
2018-12-26 11:43:08
1389
原创 在Vim中查看、修改文件编码
:set fileencoding即可显示文件编码格式。 如果你只是想查看其它编码格式的文件或者想解决 用Vim查看文件乱码的问题，那么在 ~/.vimrc 文件中添加以下内容：set encoding=utf-8 fileencodings=utf-8这样，就可以让vim自动识别文件编码（可以自动识别UTF-8或 者GBK编码的文件），其实就是依照fileencodings提供的...
2018-12-17 10:48:38
924
1
原创 Python 通过url获取图片尺寸、格式相关信息
假定给出一个URL，如何从服务器捕获该URL所对应的图片的相关信息呢？利用Python的urllib及PIL中的Image即可轻松实现。#coding:utf-8import osimport urllibimport urllib2import cStringIOfrom PIL import Imagepath = "http://h.hiphotos.baidu.c...
2018-11-26 17:22:33
3969
原创 python 删除文件夹、删除非空文件夹
一般删除文件时使用os库，然后利用os.remove(path)即可完成删除，如果删除空文件夹则可使用os.removedirs(path)即可， 但是如果需要删除整个文件夹，且文件夹非空时使用os.removedirs(path)就会报错了，此时可以使用shutil库，该库为python内置库，是一个对文件及文件夹高级操作的库，可以与os库互补完成一些操作，如文件夹的整体复制，移动文件夹，对文...
2018-11-20 15:34:58
90873
转载 Linux下安装软件，configure、make、make install 各自含义
正常的编译安装/卸载：源码的安装一般由3个步骤组成：配置(configure)、编译(make)、安装(make install)。 configure文件是一个可执行的脚本文件，它有很多选项，在待安装的源码目录下使用命令./configure –help可以输出详细的选项列表。 其中--prefix选项是配置安装目录，如果不配置该选项，安装后可执行文件默认放在/usr /lo...
2018-08-09 11:31:10
3727
原创 Linux 下安装openssl
【问题描述】执行程序时，报Fail to find openssl/ssl.h from --headers错误，没有找到解决办法，所以决定重新安装openssl【安装过程】1、到git上下载安装包https://github.com/openssl/openssl/releases我选择的是OpenSSL_1_1_1-pre7 这个版本2、./config shared（...
2018-08-08 17:25:51
5651
原创 Linux系统 cmake2.8升级到cmake-3.9.2版本
1、查看当前版本cmake --version 2、下载获得cmake-3.9.2源码 wget https://cmake.org/files/v3.9/cmake-3.9.2.tar.gz 3、解压、安装新版本tar -xvf cmake-3.9.2.tar.gzcd cmake-3.9.2./configuresudo make && ...
2018-08-08 11:06:07
24758
8
原创 hadoopstreaming job中参数解释 python
-D stream.map.output.field.separator ：设置map输出中key和value的分隔符 -D stream.num.map.output.key.fields ： 设置map程序分隔符的位置，该位置之前的部分作为key，之后的部分作为value -D map.output.key.field.separator : 设置map输...
2018-07-25 15:17:37
434
原创 数组（列表）全排列、组合实现方法 python
python语言简单、方便，其内部可以快速实现排列组合算法，下面做简单介绍：1、一个列表数据任意组合：【自带的库itertools.combinations】#_*_ coding:utf-8 _*_#__author__='dragon'import itertoolslist1 = [1,2,3]list2 = []for i in range(1,len(list1)+1): iter...
2018-06-22 14:16:47
19162
1
转载 python中lambda的用法
一、lambda函数也叫匿名函数，即，函数没有具体的名称。先来看一个最简单例子：def f(x):return x**2print f(4)Python中使用lambda的话，写成这样g = lambda x : x**2print g(4)二、lambda和普通的函数相比，就是省去了函数名称而已，同时这样的匿名函数，又不能共享在别的地方调用。其实说的没错，lambda在Python这种动态的语言...
2018-05-18 10:56:56
397
原创 python向上取整，向下取整
1、python向下取整方法：一般使用floor除法，一般除法/，round()四舍五入函数2、python向上取整方法： Python match.ceil函数 ceil(x)函数是向上取整，即取大于等于x的最接近整数。 import math math.ceil(float(1)/2)
2017-10-24 15:54:02
41530
原创 Linux 文件末尾包含^M字符
一、背景当我们把文件从Windows传到Linux环境时候,常常在每一行的末尾,会出现一些 ^M的字符.而这些字符会影响文件的正常读写和执行。二、处理方法：1、要去掉这些'^M'字符,有很多种办法,比如直接dox2unix【命令：dos2unix filename 】但是自己亲测，未达到效果，原因未知。2、亲测有效命令：命令1：tr -d "\015"old_filen
2017-10-14 19:56:31
5583
转载 N-gram详解分析
作者： 龙心尘 && 寒小阳 时间：2016年2月。 出处： http://blog.youkuaiyun.com/longxinchen_ml/article/details/50646528http://blog.youkuaiyun.com/han_xiaoyang/article/details/50646667声明：版权所有，转载请联系作者并注明出处1. 引言：朴素贝叶斯
2017-10-04 15:01:38
10771
转载 Python+Hadoop Streaming实现MapReduce（如何给map和reduce的脚本传递参数）
设置参数 #!/bin/bash hadoop fs -rmr trans_record/result hadoop jar ./hadoop-streaming-2.0.0-mr1-cdh4.7.0.jar \ -input $1 \ -output trans_record/result \
2017-09-10 11:25:06
1061
集体智慧编程（中文版）
2016-02-25
security入门
2012-07-12
Maven下建立web工程详细步骤
2012-07-11
Spring Security 3.x.chm 中文参考手册
2012-07-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人