<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[lx529068450的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/lx529068450</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; lx529068450]]></copyright><item><title><![CDATA[Anaconda安装后设置PATH]]></title><link>https://blog.youkuaiyun.com/lx529068450/article/details/130807655</link><guid>https://blog.youkuaiyun.com/lx529068450/article/details/130807655</guid><author>lx529068450</author><pubDate>Mon, 22 May 2023 15:09:00 +0800</pubDate><description><![CDATA[【代码】Anaconda安装后设置PATH。]]></description><category></category></item><item><title><![CDATA[训练集和测试集标准化的统一性]]></title><link>https://blog.youkuaiyun.com/lx529068450/article/details/127107173</link><guid>https://blog.youkuaiyun.com/lx529068450/article/details/127107173</guid><author>lx529068450</author><pubDate>Thu, 29 Sep 2022 15:04:06 +0800</pubDate><description><![CDATA[标准化]]></description><category></category></item><item><title><![CDATA[conda 克隆环境]]></title><link>https://blog.youkuaiyun.com/lx529068450/article/details/123918817</link><guid>https://blog.youkuaiyun.com/lx529068450/article/details/123918817</guid><author>lx529068450</author><pubDate>Sat, 02 Apr 2022 14:13:59 +0800</pubDate><description><![CDATA[1.为了跑代码，环境配置太烦，我需要将服务器的环境克隆下来，在另外一台服务器装，参考网上的方式，出现很多错误，一脸懵逼，后来总结原因，是因为自己源服务器虚拟环境太多了，导致不知道克隆哪个，所以，在克隆时候，最好参数详细点，指定好克隆的环境
2. 操作开始
2.1 将服务器A的环境进行打包，如：我有三个虚拟环境，克隆其中的cmd
    # -n 后面的参数是服务器A要克隆的环境名称
    conda env export -n cmd &gt; environment.yaml

2.2 将克隆的环境放到]]></description><category></category></item><item><title><![CDATA[字典条件删除]]></title><link>https://blog.youkuaiyun.com/lx529068450/article/details/122555335</link><guid>https://blog.youkuaiyun.com/lx529068450/article/details/122555335</guid><author>lx529068450</author><pubDate>Tue, 18 Jan 2022 10:52:53 +0800</pubDate><description><![CDATA[我有一本字典，其中键是字符串，值是字符串列表。下面是我正在使用的一个大得多的字典的示例。我遇到的一个问题是，键有时出现在值中（即，键“25-3”包含“25-3”，我想删除它）
cat_map = {'11-1': ['41-4', '43-1', '11-2', '43-6'],
 '11-2': ['41-4', '43-1', '11-2', '43-6'],
 '11-3': [],
 '11-9': [],
 '13-1': [],
 '13-2': [],
 '15-1': [],
 '15-2']]></description><category></category></item><item><title><![CDATA[python编码类型互转总结]]></title><link>https://blog.youkuaiyun.com/lx529068450/article/details/121661847</link><guid>https://blog.youkuaiyun.com/lx529068450/article/details/121661847</guid><author>lx529068450</author><pubDate>Wed, 01 Dec 2021 18:49:52 +0800</pubDate><description><![CDATA[只有在unicode下才能将utf-8与gbk互转
unicode是在内存中使用，bytes是文件存储和网络传输时使用

py3和py2对比


py3时：
a=“中国” 和a=u"中国" 是一个意思，都表示str类型unicode存储类型，即默认是unicode存储类型
c=b"中国" 表示str类型bytes存储类型


py2时：
a=“中国” 和a=b"中国" 是一个意思，表示str类型bytes存储类型，即默认是bytes存储类型
a=u"中国" 表示str类型unicode存储类型


转换..]]></description><category></category></item><item><title><![CDATA[多进程写入数据问题]]></title><link>https://blog.youkuaiyun.com/lx529068450/article/details/120332034</link><guid>https://blog.youkuaiyun.com/lx529068450/article/details/120332034</guid><author>lx529068450</author><pubDate>Thu, 16 Sep 2021 16:37:21 +0800</pubDate><description><![CDATA[#Pool方法

from multiprocessing import Process, Queue, Pool
import os, time, random
import pandas as pd


def write(q):
    fict = {'name': '213', 'age': 2, 'gender': '213'}
    return fic


def mycallback(res):
	#callback函数里，拿到全局变量才行
    global data
    dat]]></description><category></category></item><item><title><![CDATA[机器学习基础 - 偏度、正态化以及 Box-Cox 变换]]></title><link>https://blog.youkuaiyun.com/lx529068450/article/details/117419208</link><guid>https://blog.youkuaiyun.com/lx529068450/article/details/117419208</guid><author>lx529068450</author><pubDate>Mon, 31 May 2021 18:04:01 +0800</pubDate><description><![CDATA[1 引言
对于数据挖掘、机器学习中的很多算法，往往会假设变量服从正态分布。例如，在许多统计技术中，假定误差是正态分布的。这个假设使得能够构建置信区间并进行假设检验。因此，在数据预处理阶段会查看目标变量以及各个特征是否服从或接近正态分布，如果偏离就通过一定变换将该数据的分布正态化。
一般来说，数据的直方图如果单峰并近似正态但看上去又有些扭曲，可以考虑正态化。比如整体看上去还是一个山峰，但可能峰顶很尖或者整座山往左/往右倾斜了。这些现象如何用数字量化呢？偏度（skewness）和峰度（Kurtosis）就是两个]]></description><category></category></item><item><title><![CDATA[梯度下降法及其实现]]></title><link>https://blog.youkuaiyun.com/lx529068450/article/details/114295799</link><guid>https://blog.youkuaiyun.com/lx529068450/article/details/114295799</guid><author>lx529068450</author><pubDate>Tue, 02 Mar 2021 22:13:16 +0800</pubDate><description><![CDATA[梯度
梯度实际上就是多变量微分的一般化。
下面这个例子：

我们可以看到，梯度就是分别对每个变量进行微分，然后用逗号分割开，梯度是用&lt;&gt;包括起来，说明梯度其实一个向量。
梯度是微积分中一个很重要的概念，之前提到过梯度的意义

在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率
在多变量函数中，梯度是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向
这也就说明了为什么我们需要千方百计的求取梯度！我们需要到达山底，就需要在每一步观测到此时最陡峭的地方，梯]]></description><category></category></item><item><title><![CDATA[百度信用爬取的一点总结]]></title><link>https://blog.youkuaiyun.com/lx529068450/article/details/108072903</link><guid>https://blog.youkuaiyun.com/lx529068450/article/details/108072903</guid><author>lx529068450</author><pubDate>Tue, 18 Aug 2020 14:45:41 +0800</pubDate><description><![CDATA[详细过程
模型主要分为3个步骤：
1、IP池的定期维护
2、企业信用代码爬取转换为接口唯一ID标识（不需要定时执行，一次即可）
3、根据接口ID爬取具体数据（定期爬取）

1 代理池
文件：proxyPool.py
该代码为Github上的开源代码，定时爬取以下几个网址的免费代理IP，并放入Redis库，之所以用Redis是因为IP池里的IP需要频繁读写和维护，Redis作为NOSQL数据库，响应速度较快，且可移植性较高

2 过程中遇到的问题总结
第一版代码并未加入多进程，爬取速度较慢，但加入多进程之后带]]></description><category></category></item><item><title><![CDATA[Docker简介以及和虚拟机的对比]]></title><link>https://blog.youkuaiyun.com/lx529068450/article/details/107045781</link><guid>https://blog.youkuaiyun.com/lx529068450/article/details/107045781</guid><author>lx529068450</author><pubDate>Tue, 30 Jun 2020 16:51:52 +0800</pubDate><description><![CDATA[Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的 Linux或Windows 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。
其中，沙箱是一个虚拟系统程序，允许你在沙盘环境中运行浏览器或其他程序，因此运行所产生的变化可以随后删除。它创造了一个类似沙盒的独立作业环境，在其内部运行的程序并不能对硬盘产生永久性的影响。 在网络安全中，沙箱指在隔离环境中，用以测试不受信任的文件或应用程序等行为的工具。
直接部署应用程序]]></description><category></category></item><item><title><![CDATA[Python值传递引用传递和深浅拷贝总结]]></title><link>https://blog.youkuaiyun.com/lx529068450/article/details/106839917</link><guid>https://blog.youkuaiyun.com/lx529068450/article/details/106839917</guid><author>lx529068450</author><pubDate>Thu, 18 Jun 2020 17:46:39 +0800</pubDate><description><![CDATA[知识点
首先，我们需要知道，Python中的变量类型是分为可变类型和不可变类型
可变类型：列表、字典、集合
不可变类型：数字、字符串、元组
碰到不可变类型，会在函数内部新开辟一个内存存放变量，修改的结果不会影响函数外面。如果要修改外部变量，则需要return或者使用global
def func(a):
    print('--func----')
    a = a + 1
    print(id(a))

a = 10
print(id(a))
drawPic(a)
print(a)

输出：
15]]></description><category></category></item><item><title><![CDATA[XGBoost的一点小笔记]]></title><link>https://blog.youkuaiyun.com/lx529068450/article/details/106691687</link><guid>https://blog.youkuaiyun.com/lx529068450/article/details/106691687</guid><author>lx529068450</author><pubDate>Thu, 11 Jun 2020 16:30:06 +0800</pubDate><description><![CDATA[在说明XGboost之前，需要先了解一下几个知识点
CART树
CART与ID3和C4.5相同都由特征选择，树的生成，剪枝组成。但ID3和C4.5用于分类，CART可用于分类与回归。
CART是在给定输入随机变量X条件下输出随机变量Y的条件概率分布，与ID3和C4.5的决策树所不同的是，ID3和C4.5生成的决策树可以是多叉的，每个节点下的叉树由该节点特征的取值种类而定，比如特征年龄分为（青年，中年，老年），那么改节点下可分为3叉。而CART为假设决策树为二叉树，内部结点特征取值为”是”和”否”。左分支取值]]></description><category></category></item><item><title><![CDATA[决策树算法计算过程举例]]></title><link>https://blog.youkuaiyun.com/lx529068450/article/details/106053567</link><guid>https://blog.youkuaiyun.com/lx529068450/article/details/106053567</guid><author>lx529068450</author><pubDate>Mon, 11 May 2020 14:40:33 +0800</pubDate><description><![CDATA[一、ID3算法
“信息熵”是度量样本集合不确定度（纯度）的最常用的指标。
在我们的ID3算法中，我们采取信息增益这个量来作为纯度的度量。我们选取使得信息增益最大的特征进行分裂！
信息熵是代表随机变量的复杂度（不确定度），条件熵代表在某一个条件下，随机变量的复杂度（不确定度）。而我们的信息增益恰好是：信息熵-条件熵。
•当前样本集合 D 中第 k 类样本所占的比例为 pk ，则 D 的信息熵定义为

•离散属性 a 有 V 个可能的取值 {a1,a2,…,aV}；样本集合中，属性 a 上取值为 av 的样本集]]></description><category></category></item><item><title><![CDATA[混淆矩阵、ROC曲线，AUC值，K-S曲线]]></title><link>https://blog.youkuaiyun.com/lx529068450/article/details/105392880</link><guid>https://blog.youkuaiyun.com/lx529068450/article/details/105392880</guid><author>lx529068450</author><pubDate>Wed, 08 Apr 2020 17:49:09 +0800</pubDate><description><![CDATA[数据分析与挖掘体系位置
混淆矩阵是评判模型结果的指标，属于模型评估的一部分。此外，混淆矩阵多用于判断分类器（Classifier）的优劣，适用于分类型的数据模型，如分类树（Classification Tree）、逻辑回归（Logistic Regression）、线性判别分析（Linear Discriminant Analysis）等方法。
在分类型模型评判的指标中，常见的方法有如下四种：

...]]></description><category></category></item><item><title><![CDATA[pyecharts更新版本之后的问题]]></title><link>https://blog.youkuaiyun.com/lx529068450/article/details/104757851</link><guid>https://blog.youkuaiyun.com/lx529068450/article/details/104757851</guid><author>lx529068450</author><pubDate>Mon, 09 Mar 2020 18:20:39 +0800</pubDate><description><![CDATA[大概很久没用过pyecharts，按照以前的方法写程序时，总是报错，后来发现是新版本的语法不一样了
from pyecharts import Scatter,Line,Page

比如这个会报错，Line无法导入
还有添加数据，保存图片的方法都和以前不一样了

解决方法一，换回以前版本：

输入命令：pip install wheel
然后在输入：pip install pyecharts==0...]]></description><category></category></item><item><title><![CDATA[fbprophet安装步骤（centOS）]]></title><link>https://blog.youkuaiyun.com/lx529068450/article/details/104683078</link><guid>https://blog.youkuaiyun.com/lx529068450/article/details/104683078</guid><author>lx529068450</author><pubDate>Thu, 05 Mar 2020 20:28:23 +0800</pubDate><description><![CDATA[史上最难装的库。。。
最后成解决办法是，在anaconda建立一个新的环境，这样比较好安装
1、首先在所在系统中安装Anaconda。可以打开命令行输入conda -V检验是否安装以及当前conda的版本。
2、conda常用的命令。
    1）conda list 查看安装了哪些包。

    2）conda env list 或 conda info -e 查看当前存在哪些虚拟环境

   ...]]></description><category></category></item><item><title><![CDATA[Python多进程中的文件写入问题]]></title><link>https://blog.youkuaiyun.com/lx529068450/article/details/104267912</link><guid>https://blog.youkuaiyun.com/lx529068450/article/details/104267912</guid><author>lx529068450</author><pubDate>Tue, 11 Feb 2020 19:08:23 +0800</pubDate><description><![CDATA[因项目数据量庞大需要使用多进程的方法计算数据（计算密集型）
在写完代码之后，发现如果按照如下写法，则并不会并发执行，而是执行完一个接着执行第二个
    print('Parent process %s.' % os.getpid())
    p = Pool(5)
    for i in range(0, len(dataB), int(len(dataB) / 5)):
        d...]]></description><category></category></item><item><title><![CDATA[关于Python值传递和引用传递的坑]]></title><link>https://blog.youkuaiyun.com/lx529068450/article/details/103974025</link><guid>https://blog.youkuaiyun.com/lx529068450/article/details/103974025</guid><author>lx529068450</author><pubDate>Tue, 14 Jan 2020 15:35:35 +0800</pubDate><description><![CDATA[在编写熵值法代码的时候，发现代码算出的结果和EXCEL手动计算的结果存在细微差异，排查了很久，终于发现问题
def Entropy (data):
    df3 = data
    df4 = data

    for index, row in data.iteritems():
        indexSum = data[index].sum()
        for i in r...]]></description><category></category></item><item><title><![CDATA[推荐中相似度计算问题（选择与总结）]]></title><link>https://blog.youkuaiyun.com/lx529068450/article/details/103627018</link><guid>https://blog.youkuaiyun.com/lx529068450/article/details/103627018</guid><author>lx529068450</author><pubDate>Fri, 20 Dec 2019 09:30:28 +0800</pubDate><description><![CDATA[《Dataminingguide》书阅读，第二章 推荐系统入门
1、 曼哈顿距离
最简单的距离计算方式。在二维计算模型中，每个人都可以用（X，Y）的点来表示。例如（X1，Y1）来表示艾米，（X2，Y2）来表示另一位人，那么他们之间的曼哈顿距离就是：
|X1-X2|+|Y1-Y2|
也就是x之差的绝对值加上y之差的绝对值。
曼哈顿距离的优点之一就是计算速度快，对于Facebook这样需要计算百万用户...]]></description><category></category></item><item><title><![CDATA[SVD（奇异值分解）]]></title><link>https://blog.youkuaiyun.com/lx529068450/article/details/103499150</link><guid>https://blog.youkuaiyun.com/lx529068450/article/details/103499150</guid><author>lx529068450</author><pubDate>Wed, 11 Dec 2019 20:38:25 +0800</pubDate><description><![CDATA[1、特征值分解（EVD）

实对称矩阵
在理角奇异值分解之前，需要先回顾一下特征值分解，如果矩阵A是一个m×m的实对称矩阵（即A=AT），那么它可以被分解成如下的形式


其中Q为标准正交阵，即有QQT=I，Σ为对角矩阵，且上面的矩阵的维度均为m×m。λi  称为特征值，qi 是Q（特征矩阵）中的列向量，称为特征向量。

注：I在这里表示单位阵，有时候也用E表示单位阵。式（1-1）的具体求解过程就...]]></description><category></category></item></channel></rss>