<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[BigData_Mining的博客]]></title><description><![CDATA[不积跬步无以至千里]]></description><link>https://blog.youkuaiyun.com/BigData_Mining</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; BigData_Mining]]></copyright><item><title><![CDATA[python安装各种包、模块的地址]]></title><link>https://blog.youkuaiyun.com/BigData_Mining/article/details/125360396</link><guid>https://blog.youkuaiyun.com/BigData_Mining/article/details/125360396</guid><author>BigData_Mining</author><pubDate>Sun, 19 Jun 2022 17:54:52 +0800</pubDate><description><![CDATA[python安装各种包、模块的地址]]></description><category></category></item><item><title><![CDATA[python项目导出依赖包requirements.txt文件]]></title><link>https://blog.youkuaiyun.com/BigData_Mining/article/details/125359430</link><guid>https://blog.youkuaiyun.com/BigData_Mining/article/details/125359430</guid><author>BigData_Mining</author><pubDate>Sun, 19 Jun 2022 16:44:31 +0800</pubDate><description><![CDATA[python项目导出依赖包]]></description><category></category></item><item><title><![CDATA[conda安装fbprophet注意事项]]></title><link>https://blog.youkuaiyun.com/BigData_Mining/article/details/125359375</link><guid>https://blog.youkuaiyun.com/BigData_Mining/article/details/125359375</guid><author>BigData_Mining</author><pubDate>Sun, 19 Jun 2022 16:40:44 +0800</pubDate><description><![CDATA[conda安装fbprophet]]></description><category></category></item><item><title><![CDATA[ubuntu20.04安装neo4j]]></title><link>https://blog.youkuaiyun.com/BigData_Mining/article/details/122308250</link><guid>https://blog.youkuaiyun.com/BigData_Mining/article/details/122308250</guid><author>BigData_Mining</author><pubDate>Tue, 04 Jan 2022 17:56:13 +0800</pubDate><description><![CDATA[机器环境
Ubuntu 20.04.、Java 1.8.0_171
注意
Neo4j和Java版本的对应关系, 这里需要注意一个情况，如果服务器上已经有JDK，通过java -version查看一下版本，如果是1.8.xx的版本，下载Neo4j 3.xx的版本。Neo4j 4.xx的版本需要jdk的version是11。
安装步骤
我安装的Neo4j版本为3.5.25
1.下载Neo4j压缩包
官网地址：https://neo4j.com/download-center/#community
选择社区版（免]]></description><category></category></item><item><title><![CDATA[mysql定时清理数据]]></title><link>https://blog.youkuaiyun.com/BigData_Mining/article/details/121526397</link><guid>https://blog.youkuaiyun.com/BigData_Mining/article/details/121526397</guid><author>BigData_Mining</author><pubDate>Wed, 24 Nov 2021 22:11:25 +0800</pubDate><description><![CDATA[设置MySQL
SHOW VARIABLES LIKE 'event_scheduler'; # 查看开关

SET GLOBAL event_scheduler = ON; #打开事件调度器

永久开启方法：my.cnf中[mysqld]添加event_scheduler=on #重启服务
查看事件
SHOW EVENTS;  # 其中 EVENT_DEFINITION字段为事件执行的sql语句
select EVENT_NAME,LAST_EXECUTED from information_schema]]></description><category></category></item><item><title><![CDATA[如何优雅的退出gunicorn]]></title><link>https://blog.youkuaiyun.com/BigData_Mining/article/details/121261794</link><guid>https://blog.youkuaiyun.com/BigData_Mining/article/details/121261794</guid><author>BigData_Mining</author><pubDate>Thu, 11 Nov 2021 09:48:23 +0800</pubDate><description><![CDATA[在工作中，会发现gunicorn启动的web服务，无论怎么使用kill -9 进程号都是无法杀死gunicorn，经过我一番百度和谷歌，发现想要删除gunicorn进程其实很简单。

寻找masterpid
通过执行如下命令，可以获取Gunicorn进程树：
pstree -ap|grep gunicorn

得到如下的结果。

很显然，60313就是Gunicorn的主进程。

重启Gunicorn任务
按照官方的推荐方法，很容易执行命令：

kill -HUP 60313

执行上述命令后，再次执行“p]]></description><category></category></item><item><title><![CDATA[使用Crontab定时执行任务]]></title><link>https://blog.youkuaiyun.com/BigData_Mining/article/details/121084451</link><guid>https://blog.youkuaiyun.com/BigData_Mining/article/details/121084451</guid><author>BigData_Mining</author><pubDate>Mon, 01 Nov 2021 17:32:16 +0800</pubDate><description><![CDATA[crontab -u //设定某个用户的cron服务，一般root用户在执行这个命令的时候需要此参数
crontab -l //列出某个用户cron服务的详细内容
crontab -r //删除没个用户的cron服务
crontab -e //编辑某个用户的cron服务
使用crontab -e
第一次打开crontab -e 将要更换编辑器
Select an editor. To change later, run ‘select-editor’.
/bin/ed
/bin/nano
/usr/bin/]]></description><category></category></item><item><title><![CDATA[使用Gunicorn部署flask项目]]></title><link>https://blog.youkuaiyun.com/BigData_Mining/article/details/121084340</link><guid>https://blog.youkuaiyun.com/BigData_Mining/article/details/121084340</guid><author>BigData_Mining</author><pubDate>Mon, 01 Nov 2021 17:24:39 +0800</pubDate><description><![CDATA[Gunicorn安装
pip install greenlet#为使用异步做准备
pip install eventlet#使用eventlet workers
pip install gevent#使用gevent workers
pip install gunicorn

创建示例文件：
from flask import Flask
app = Flask(__name__)
@app.route('/demo')#如果不想给方法起名就用'/',也可以自己定义名称，例如这里起名为demo
def He]]></description><category></category></item><item><title><![CDATA[ubuntu20.04下MySql8安装及其更新密码]]></title><link>https://blog.youkuaiyun.com/BigData_Mining/article/details/121051605</link><guid>https://blog.youkuaiyun.com/BigData_Mining/article/details/121051605</guid><author>BigData_Mining</author><pubDate>Sat, 30 Oct 2021 15:29:34 +0800</pubDate><description><![CDATA[安装：
sudo apt upgrate
sudo apt install mysql-server
sudo apt install mysql-client

安装过程中无用户名密码提示。
打开debian.cnf文件
$sudo cat /etc/mysql/debian.cnf


使用自动生成的账号密码连接登录，之后再重置账号、密码。
mysql&gt;  use mysql;
mysql&gt; update user set authentication_string='' where use]]></description><category></category></item><item><title><![CDATA[将文件夹中的多个txt文件合并为一个文件，并将文件名作为标签,写入csv中]]></title><link>https://blog.youkuaiyun.com/BigData_Mining/article/details/118668735</link><guid>https://blog.youkuaiyun.com/BigData_Mining/article/details/118668735</guid><author>BigData_Mining</author><pubDate>Mon, 12 Jul 2021 09:58:12 +0800</pubDate><description><![CDATA[文件夹下的文件：

每个文件中的内容：

代码：
from __future__ import unicode_literals, print_function, division
from io import open
import glob
import os
import unicodedata
import string
def findFiles(path): return glob.glob(path)
categorty_lines = {}
all_categories = []
for f]]></description><category></category></item><item><title><![CDATA[使用pytorch-geometric报错：No module named torch_sparse]]></title><link>https://blog.youkuaiyun.com/BigData_Mining/article/details/118116823</link><guid>https://blog.youkuaiyun.com/BigData_Mining/article/details/118116823</guid><author>BigData_Mining</author><pubDate>Tue, 22 Jun 2021 20:50:39 +0800</pubDate><description><![CDATA[使用pytorch-geometric报错：No module named torch_sparse解决方案：
1)明确你的torch的版本和gpu的版本或者cpu
2）进入下载链接，点击进入与你版本相同的子链接：

3）根据版本号下载这四个whl文件

4）使用
pip install XX.whl

命令安装这四个文件，然后在执行：
pip install torch-geometric

即可解决！

...]]></description><category></category></item><item><title><![CDATA[如何判断dll程序的位数：32位or64位]]></title><link>https://blog.youkuaiyun.com/BigData_Mining/article/details/115444969</link><guid>https://blog.youkuaiyun.com/BigData_Mining/article/details/115444969</guid><author>BigData_Mining</author><pubDate>Mon, 05 Apr 2021 17:12:52 +0800</pubDate><description><![CDATA[判断dll程序位数简便方法：
直接用记事本或者notepad++打开exe文件（dll文件），会有很多乱码，不要头疼，接下来只需要在第二段中找到PE两个字母，在其后的不远出会出现d? 或者L。若是d，则证明该程序是64位；若是L，则证明是32位。


...]]></description><category></category></item><item><title><![CDATA[pytorch算法模型转换为onnx--＞ncnn（落地项目全生命周期3)]]></title><link>https://blog.youkuaiyun.com/BigData_Mining/article/details/115428466</link><guid>https://blog.youkuaiyun.com/BigData_Mining/article/details/115428466</guid><author>BigData_Mining</author><pubDate>Sun, 04 Apr 2021 15:39:31 +0800</pubDate><description><![CDATA[这一章节我们要对我们已经训练好的模型进行转换，分为三个步骤：1）pytorch模型转为onnx模型；2）onnx模型精简；3）onnx模型转为ncnn模型。
一：pytorch模型转onnx模型
我们以pytoch自带的算法为案例：
import torch
import torchvision

#define resnet18 model
model = torchvision.models.resnet18(pretrained=True)
#define input shape
x = torch.]]></description><category></category></item><item><title><![CDATA[vs2017创建dll程序并配置ncnn和opencv运行环境（落地项目全生命周期-图解）2]]></title><link>https://blog.youkuaiyun.com/BigData_Mining/article/details/115414270</link><guid>https://blog.youkuaiyun.com/BigData_Mining/article/details/115414270</guid><author>BigData_Mining</author><pubDate>Sat, 03 Apr 2021 14:47:49 +0800</pubDate><description><![CDATA[这里我主要是创建一个动态链接库文件：
步骤1：创建一个动态链接库项目


步骤2：配置头文件路径
切换到属性管理器


配置你的项目属性，比如你要是想编译一个64位的Release版本的程序，那就选择Release|x64，若是想要编译一个32位的文件，就选择win32。但是注意，一定要与上方一致！我已编译Release版本64位为例：

注意：在解决方案管理器中将配置和平台选为你要编译的发行版本。

（1）配置包含目录：在包含目录中添加opencv、protobuf、NCNN的头文件所在目录。以下是我的路]]></description><category></category></item><item><title><![CDATA[win10安装ncnn并配置protobuf+ncnn+openCV（落地项目全生命周期图解）]]></title><link>https://blog.youkuaiyun.com/BigData_Mining/article/details/115412949</link><guid>https://blog.youkuaiyun.com/BigData_Mining/article/details/115412949</guid><author>BigData_Mining</author><pubDate>Sat, 03 Apr 2021 11:29:44 +0800</pubDate><description><![CDATA[0.前提：自行到官网下载vs2017，下载https://visualstudio.microsoft.com/downloads并安装。
1.下载ncnn
到ncnn的GitHub中下载相应的组件https://github.com/Tencent/ncnn

2.下载protobuf
GitHub中ncnn这个界面往下拉，找到这个：

进入后，点击这里下载protobuf

然后按照下面的步骤进行安装。
1）将两个压缩文件解压

2）安装两个组件
注意：先安装protobuf
重点来了，应该在什么地方安]]></description><category></category></item><item><title><![CDATA[python项目（pytorch分类算法）pyinstaller打包为exe可执行程序--工业已应用]]></title><link>https://blog.youkuaiyun.com/BigData_Mining/article/details/113061146</link><guid>https://blog.youkuaiyun.com/BigData_Mining/article/details/113061146</guid><author>BigData_Mining</author><pubDate>Sat, 23 Jan 2021 20:36:52 +0800</pubDate><description><![CDATA[我们用pytorch或者tensorflow写的算法程序在实际使用过程中都需要加密打包，我看了网上很多的教程，基本上没有一个适合作为工业级发布python项目的模板，我根据工作中的实际应用，来详细的说一下如何打包pytorch写的一个分类程序为exe可执行文件。
使用到的python模块有Cython和pyinstaller
1、首先对代码加密
使用Cython模块对代码进行加密
在项目根路径创建 build_pyd.py (文件名随意，以下命令默认此文件名)
from distutils.core imp]]></description><category></category></item><item><title><![CDATA[TypeError: ‘＞=‘ not supported between instances of ‘NoneType‘ and ‘str‘]]></title><link>https://blog.youkuaiyun.com/BigData_Mining/article/details/112940813</link><guid>https://blog.youkuaiyun.com/BigData_Mining/article/details/112940813</guid><author>BigData_Mining</author><pubDate>Sat, 23 Jan 2021 16:21:49 +0800</pubDate><description><![CDATA[File “G:\Anaconda3\lib\distutils\cygwinccompiler.py”, line 129, in init
if self.ld_version &gt;= “2.10.90”:
TypeError: ‘&gt;=’ not supported between instances of ‘NoneType’ and ‘str’
conda install libpython

]]></description><category></category></item><item><title><![CDATA[python加密报错：Cython directive ‘language_level‘ not set, using 2 for now (Py2)]]></title><link>https://blog.youkuaiyun.com/BigData_Mining/article/details/112992267</link><guid>https://blog.youkuaiyun.com/BigData_Mining/article/details/112992267</guid><author>BigData_Mining</author><pubDate>Fri, 22 Jan 2021 17:42:23 +0800</pubDate><description><![CDATA[错误：
FutureWarning: Cython directive 'language_level' not set, using 2 for now (Py2). This will change in a later release! File: G:\software\PyCharm 2018.3.3\test_ext\add.py
 tree = Parsing.p_module(s, pxd, full_module_name)

解决方案：在你需要加密的py文件顶部加上
# cython:l]]></description><category></category></item><item><title><![CDATA[PyTorch学习率调整策略]]></title><link>https://blog.youkuaiyun.com/BigData_Mining/article/details/112679361</link><guid>https://blog.youkuaiyun.com/BigData_Mining/article/details/112679361</guid><author>BigData_Mining</author><pubDate>Fri, 15 Jan 2021 17:21:51 +0800</pubDate><description><![CDATA[PyTorch学习率调整策略通过torch.optim.lr_scheduler接口实现。PyTorch提供的学习率调整策略分为三大类，分别是:
有序调整：等间隔调整(Step)，按需调整学习率(MultiStep)，指数衰减调整(Exponential)和 余弦退火CosineAnnealing
自适应调整：自适应调整学习率 ReduceLROnPlateau
自定义调整：自定义调整学习率 LambdaLR。
1.等间隔调整学习率StepLR:
等间隔调整学习率，调整倍数为 gamma 倍，调整间隔为 s]]></description><category></category></item><item><title><![CDATA[在用python完成文件中图片重命名时报错：Windows error[2]解决方法]]></title><link>https://blog.youkuaiyun.com/BigData_Mining/article/details/112203082</link><guid>https://blog.youkuaiyun.com/BigData_Mining/article/details/112203082</guid><author>BigData_Mining</author><pubDate>Mon, 04 Jan 2021 21:15:45 +0800</pubDate><description><![CDATA[Windows error[2]解决方法
在用python完成文件中图片重命名时，遇到了windows error[2]的错误，主要是路径问题。代码中加上os.chdir(file)那句代码就能解决这个问题，把路径改变到你所需要重命名图片的路径下。
错误如下:

#-*- codeing = utf-8 -*-
#@Time:2021/1/4 20:12
#@Author: Z2Q
#@File : change_name.py
#@Software : PyCharm
import os ,os.path]]></description><category></category></item></channel></rss>