qq_36489878的博客

原创 《震惊！搬运小说赚美金？亲测后竟以失败告终》

你想在 AlphaNovel 平台靠搬运国内小说翻译后赚美金，先介绍了诱人的奖励模式，如合同奖金和按字数、阅读量给钱。还说了搬运流程，可过程坎坷，先是账户因异常被永久停用，又因是搬运无法提供作品链接。而且尝试解决账户问题时，用国内护照总被拒，各种组合尝试都失败，猜测平台对中国大陆护照不友好，最后放弃尝试，真是一段曲折又令人警醒的经历。

原创 github 下载加速

使用代理下载两种方式1.将需要下载的code链接复制到如下网址即可https://ghproxy.com/然后接口加速下载2.或者使用如下方式下载：git clonegit clonehttps://ghproxy.com/https://github.com/stilleshan/ServerStatus.gitwget & curlwgethttps://ghproxy.com/https://github.com/stilleshan/ServerStatu..

原创 windows github 图片无法显示

windows github 图片无法显示1.在系统盘中找到host文件C:\Windows\System32\drivers\etc下的host文件2.拷贝到桌面，然后在结尾添机如下内容，然后保存。# GitHub140.82.114.4 github.com140.82.114.4 gist.github.com185.199.108.153 assets-cdn.github.com151.101.64.133 raw.githubusercontent.com151.10

原创 screen使用

对于模型的训练的过程中经常会共和服务器断开链接，此时可以使用Sceen创建会话，然后去训练，下次链接之后从新查看训练进程常用的命令如下所示：screen -S yourname -> 新建一个叫yourname的sessionscreen -ls -> 列出当前所有的sessionscreen -r yourname -> 回到yourname这个sessionscreen -d yourname -> 远程detach某个sessionscreen -d

原创 python lmdb使用

python lmdb使用python lmdb使用安装项目实际用例pytorch dataload方法从写python lmdb使用LMDB和SQLite/MySQL等关系型数据库不同，属于key-value数据库（把LMDB想成dict会比较容易理解），键key与值value都是字符串。安装pip install lmdb###操作流程1.创建lmdb环境env = lmdb.open()2.建立事务txn = env.begin()3.向事务中写入或者修改数据txn.put(ke

原创 Yolo-v5 在windows下的gpu依赖包的安装

在训练yolov5的时候，发现作者要求的torch提供的版本都比较高，然后就安装了最新版的，也可以根据自己的python 版本安装对应的版本即可。对于requirements.txt中的包可以看一下# pip install -r requirements.txt# base ----------------------------------------Cythonmatplotlib>=3.2.2numpy>=1.18.5opencv-python>=4.1.2

原创 imgaug 函数名解释

原创 2020-09-03

RuntimeError: CUDA out of memory. Tried to allocate 58.00 MiB (GPU 0; 6.00 GiB total capacity; 3.97 GiB already allocated; 12.14 MiB free; 4.59 GiB reserved in total by PyTorch)最近在进行yolov5的时候出现了如上的情况，之前的模型都是采用tensorflow和keras训练模型，这次使用pytorch训练模型，真是坑不少，一般

原创 mlflow训练机器学习模板

1 安装mlflowpip install mlflow2.测试import mlflowimport mlflow.sklearn# 设置mlflow的地址mlflow.set_tracking_uri("http://192.**.**.***:10000/")# 创建实验（如果第一次创建了，需要从新启动）mlflow.create_experiment("...

原创 ImportError: cannot import name '_validate_lengths' 解决方法

在加载包的时候出现了如下的错误：ImportError: cannot import name '_validate_lengths' 解决方法需要对anaconda3/lib/python3.6/site-packages/skimage/util/arraycrop.py文件的导入包部分进行修改。修改之前import numpy as npfrom numpy.lib.arra...

原创 python MAC pdf2image 的安装 以及遇到的一些坑

pdf2image 是一个将pdf文件转为image文件的包。A python module that wraps the pdftoppm utility to convert PDF to PIL Image object或者可以去github 的官网链接看相关的安装教程。github地址为：https://github.com/Belval/pdf2image安装：pi...

原创 python 基于情感词典的情感分析之乐，惧，惊，哀，恶，怒和未知七种情感分析

背景情感分析是通过计算技术对文本内容的主观客观性、情绪等挖掘分析，对文本的情感偏向做出判断。目的是识别出文本中的具体情感分类，之前做文本分类都是通过深度学习或者机器学习进行文本分类，但是需要进行数据标注，对于上述其中情感的分类，有相应的情感词典，想通过情感词典的方式进行七分类情感分析。1.数据准备1.1 情感词典准备中文情感词汇本体库是大连理工大学信息检索研究室在林鸿飞教授的...

原创 python nlp情感分析之极性分析

背景目前做情感分析基本使用机器学习或者深度学习进行情感分析，准确率已经很高了。最近与某高校新闻媒体学院合作进行大数据情感分析，学院老师要求采用情感字典进行情感极性分析，之前做项目情感分析都是采用深度模型做的，这次打算使用情感字典进行情感极性分析，并且以后可以用来收集数据。1.数据准备1.1 情感词典准备话说是基于情感词典的极性分析，当然要有情感字典，可以采用下面的链接直接下载。...

原创 mac wordcloud 字体设置

在使用mac进行词云生成的时候，发现乱码，后来发现需要设置系统的字体才可以font_path="/System/Library/fonts/PingFang.ttc"wc = WordCloud(font_path=font_path).generate(text=text)这样就可以正常生成的词云图片了。...

原创 python 根据三点坐标计算夹角

最近在一些夹角计算的时候，根据三点坐标计算夹角，并封装为方法，方便以后调用。def cal_ang(point_1, point_2, point_3): """ 根据三点坐标计算夹角 :param point_1: 点1坐标 :param point_2: 点2坐标 :param point_3: 点3坐标 :return: 返回任意角的夹角...

原创 Memory Error问题

前段时间用LDA做主题模型的时候，老是报错Memory Error,原来是内存不足，后来将整个模型放到服务器（64G）上训练，发现还是报同样的错误，后来在服务器上检测，发现并没有占满，网上找了许多教程，看着别人的教程做了好久还是不行，看着别人的方法主要是我建了一个矩阵太大了，20万*45万的矩阵。self.z = np.array(np.zeros([self.D, self.V]), ...

原创 git 中协议切换

最近在提交代码的时候老是遇到fatal: 远端意外挂断了Everything up-to-date参考网上说的需要切换协议：1. 可以先看一下自己的是什么类型，查看当前remotegit remote -v2. 如果需要切换到http：git remote set-url https://github.com/username/repository.git3....

原创 微博评论内容过滤

前段时间在过滤微博评论的时候，整理了一下内容的过滤，主要是以下几个方面：html标记 url 标记 去掉@标记与@某人的标记 去掉一些特殊字符 过滤表情（一些表情符号的过滤） 过滤掉\ax0（去掉一些空格标记） 是否转换为小写（为了后期的统一，都转换为小写）# from HTMLParser import HTMLParserfrom html.parser import H...

原创 python读取和保存图片的方式

方式1：利用PIL的image函数利用image读取的图片并不是array格式，其实是图片的类-PIL.JpegImagePlugin.JpegImageFile需要用 np.asarray(im) 或者 np.array（im）函数将其处理成array格式。这两者的区别其实是深拷贝与浅拷贝的区别。from PIL import Image import numpy as np...

原创 YOLO Nano---一种高度紧凑YOLO卷积神经网络的目标检测

英文：YOLO Nano: a Highly Compact You Only Look Once Convolutional Neural Network for Object Detection中文：YOLO Nano---一种高度紧凑YOLO卷积神经网络的目标检测论文下载链接：https://arxiv.org/abs/1910.01271非官方的githubs实现链接：http...

原创 关于ERROR: Cannot uninstall 'tqdm'. It is a distutils installed project and thus we cannot accurately

ERROR: Cannot uninstall 'tqdm'. It is a distutils installed project and thus we cannot accurately determine which files belong to it which would lead to only a partial uninstall.在卸载某些安装包的时候可能存在不能卸载的...

原创 在nlp任务中训练集与测试集的划分

定义一个方法，可以直接将全部的数据集划分为训练集与测试集def nlp_split(path,size=0.3,sep = '__label__'): from sklearn.model_selection import train_test_split label_list = [] text_list = [] with open(path,'r',...

原创 mac下kenlm安装---pycorrector

在安装pycorrector的时候出现了没有kenlm包，然后安装了一下上午最终解决了，记录一下。使用命令对kenlm库进行下载：wget -O - http://kheafield.com/code/kenlm.tar.gz |tar xz 如下所示。根据kenlm官网说明进行编译https://github.com/kpu/kenlm：mkdir -p buildcd ...

原创 目标检测中关于多组标注数据的合并，包括Annotations、JPEGImages、ImageSets三个文件夹

import shutilimport os#input file pathinput_file_path = 'E:/AI/安全帽检测/helmet_work_clothes/helmet'#output file pathoutput_file_path = 'E:/AI/安全帽检测/helmet_work_clothes/all/'file_list = os.listdi...

原创 关系型数据库--MySQL

如何使用终端操作数据库？如何登陆数据库服务器：MAC: mysql -uroot -密码如何查询数据库服务器中所有的数据库？show databases;注意：末尾一定要有分号！！！！如何选中某一个数据库进行操作？use + 数据库名;例如：use mysqlSQL语句中的查询操作-----select * from admin where ID=2;...

原创 深度学习中的对抗损失怎么使用

对前几天的对抗损失总结一下，转载请注明出处，如有不对的地方，欢迎前来指出，一起探讨。1.对抗损失的目的与作用 对抗损失的使用主要是为了减少标注数据，在真实的业务中，对于数据的标注是一件非常头疼的事，为了使用1000条标注能够达到2000条标注数据的所能达到效果（打个比方），模拟真实世界中各种噪声的情况，让模型更加鲁棒，更好用，准确率更高，在图像处理中经常使用引入噪声来增加图像的样本集...