lx529068450的博客

标准化

我有一本字典，其中键是字符串，值是字符串列表。下面是我正在使用的一个大得多的字典的示例。我遇到的一个问题是，键有时出现在值中（即，键“25-3”包含“25-3”，我想删除它）cat_map = {'11-1': ['41-4', '43-1', '11-2', '43-6'], '11-2': ['41-4', '43-1', '11-2', '43-6'], '11-3': [], '11-9': [], '13-1': [], '13-2': [], '15-1': [], '15-2'

只有在unicode下才能将utf-8与gbk互转unicode是在内存中使用，bytes是文件存储和网络传输时使用py3和py2对比py3时：a=“中国” 和a=u"中国" 是一个意思，都表示str类型unicode存储类型，即默认是unicode存储类型c=b"中国" 表示str类型bytes存储类型py2时：a=“中国” 和a=b"中国" 是一个意思，表示str类型bytes存储类型，即默认是bytes存储类型a=u"中国" 表示str类型unicode存储类型转换..

#Pool方法from multiprocessing import Process, Queue, Poolimport os, time, randomimport pandas as pddef write(q): fict = {'name': '213', 'age': 2, 'gender': '213'} return ficdef mycallback(res): #callback函数里，拿到全局变量才行 global data dat

详细过程模型主要分为3个步骤：1、IP池的定期维护2、企业信用代码爬取转换为接口唯一ID标识（不需要定时执行，一次即可）3、根据接口ID爬取具体数据（定期爬取）1 代理池文件：proxyPool.py该代码为Github上的开源代码，定时爬取以下几个网址的免费代理IP，并放入Redis库，之所以用Redis是因为IP池里的IP需要频繁读写和维护，Redis作为NOSQL数据库，响应速度较快，且可移植性较高2 过程中遇到的问题总结第一版代码并未加入多进程，爬取速度较慢，但加入多进程之后带

知识点首先，我们需要知道，Python中的变量类型是分为可变类型和不可变类型可变类型：列表、字典、集合不可变类型：数字、字符串、元组碰到不可变类型，会在函数内部新开辟一个内存存放变量，修改的结果不会影响函数外面。如果要修改外部变量，则需要return或者使用globaldef func(a): print('--func----') a = a + 1 print(id(a))a = 10print(id(a))drawPic(a)print(a)输出：15

大概很久没用过pyecharts，按照以前的方法写程序时，总是报错，后来发现是新版本的语法不一样了from pyecharts import Scatter,Line,Page比如这个会报错，Line无法导入还有添加数据，保存图片的方法都和以前不一样了解决方法一，换回以前版本：输入命令：pip install wheel然后在输入：pip install pyecharts==0...

史上最难装的库。。。最后成解决办法是，在anaconda建立一个新的环境，这样比较好安装1、首先在所在系统中安装Anaconda。可以打开命令行输入conda -V检验是否安装以及当前conda的版本。2、conda常用的命令。 1）conda list 查看安装了哪些包。 2）conda env list 或 conda info -e 查看当前存在哪些虚拟环境 ...

因项目数据量庞大需要使用多进程的方法计算数据（计算密集型）在写完代码之后，发现如果按照如下写法，则并不会并发执行，而是执行完一个接着执行第二个 print('Parent process %s.' % os.getpid()) p = Pool(5) for i in range(0, len(dataB), int(len(dataB) / 5)): d...

在编写熵值法代码的时候，发现代码算出的结果和EXCEL手动计算的结果存在细微差异，排查了很久，终于发现问题def Entropy (data): df3 = data df4 = data for index, row in data.iteritems(): indexSum = data[index].sum() for i in r...

《Dataminingguide》书阅读，第二章 推荐系统入门1、 曼哈顿距离最简单的距离计算方式。在二维计算模型中，每个人都可以用（X，Y）的点来表示。例如（X1，Y1）来表示艾米，（X2，Y2）来表示另一位人，那么他们之间的曼哈顿距离就是：|X1-X2|+|Y1-Y2|也就是x之差的绝对值加上y之差的绝对值。曼哈顿距离的优点之一就是计算速度快，对于Facebook这样需要计算百万用户...

1、特征值分解（EVD）实对称矩阵在理角奇异值分解之前，需要先回顾一下特征值分解，如果矩阵A是一个m×m的实对称矩阵（即A=AT），那么它可以被分解成如下的形式其中Q为标准正交阵，即有QQT=I，Σ为对角矩阵，且上面的矩阵的维度均为m×m。λi 称为特征值，qi 是Q（特征矩阵）中的列向量，称为特征向量。注：I在这里表示单位阵，有时候也用E表示单位阵。式（1-1）的具体求解过程就...

本文转自知乎大牛。从定义出发，Ax=cx：A为矩阵，c为特征值，x为特征向量。矩阵A乘以x表示，对向量x进行一次转换（旋转或拉伸）（是一种线性转换），而该转换的效果为常数c乘以向量x（即只进行拉伸）。我们通常求特征值和特征向量即为求出该矩阵能使哪些向量（当然是特征向量）只发生拉伸，使其发生拉伸的程度如何（特征值大小）。这样做的意义在于，看清一个矩阵在那些方面能产生最大的效果（power），并...

一、基本原理在信息论中，熵是对不确定性的一种度量。信息量越大，不确定性就越小，熵也就越小；信息量越小，不确定性越大，熵也越大。根据熵的特性，可以通过计算熵值来判断一个事件的随机性及无序程度，也可以用熵值来判断某个指标的离散程度，指标的离散程度越大，该指标对综合评价的影响（权重）越大，其熵值越小。二、熵值法步骤选取n个国家，m个指标，则为第i个国家的第j个指标的数值（i=1, 2…,...

1.下载PythonLinux 版的 Python 通常以源码编译的方式安装，到 Python 官网下载 Python3。Python3 官网下载地址: https://www.python.org/downloads/source/如下图:获取到下载链接后，直接使用 curl 命令下载即可:sudo curl -O https://www.python.org/ftp/python...

以引用计数为主，以隔代回收为辅Python中的循环数据结构以及引用计数我们知道在Python中，每个对象都保存了一个称为引用计数的整数值，来追踪到底有多少引用指向了这个对象。无论何时，如果我们程序中的一个变量或其他对象引用了目标对象，Python将会增加这个计数值，而当程序停止使用这个对象，则Python会减少这个计数值。一旦计数值被减到零，Python将会释放这个对象以及回收相关内存空间...