长期更新自学笔记

一、Python的一等公民可以赋值给一个变量可以添加到集合对象中可以作为参数传递给函数可以当做函数的返回值演示代码一：def ask(name='bob'): print(name)class Person: def __init__(self): print('person')def main(): obj_list = list() obj_list.append(ask) # 放入函数对象 obj_list.append

文章目录一、字典特征抽取二、文本特征抽取1. 统计单词出现的次数2. 对中文分词后进行特征抽取三、TF-IDF文本分析四、特征预处理1. 归一化一、字典特征抽取将字典类型数据转换成矩阵形式（One-hot编码）from sklearn.feature_extraction import DictVectorizerdef dictvec(): # 实例化，sparse为False时直接打印矩阵 dict = DictVectorizer(sparse=False) # 调用

一、列表list1. 性质连续编址元素可以任意，可以是数字、字符串、对象、列表等列表是可变的2. 方法index(value) ：返回第一个valuevaluevalue匹配的索引，匹配不到抛异常，O(n)count(value) ：返回列表中valuevaluevalue出现的次数，比较低效，O(n)len(list) ：返回列表长度，直接返回list中的长度属性，O(1)append(value) ：list尾部添加valuevaluevalue，无返回值，高效insert(

一、类对象及类属性类对象： 类的定义执行后会生成一个类对象类的属性： 类定义中的变量和类中定义的方法都是类的属性类变量： 例如下面的namenamename就是类的变量类命名： 大驼峰方式，大写字母开头class Person: name = "leo" def say(self): print(self.name + ' say hello')二、实例化每次实例化后得到的实例，是完全不同的实例。Python类实例化后，会自动调用__init__ 方法进

一、线程什么是线程？CPU 调度和分派的基本单位，当前线程 CPU 时间片用完后，会让出 CPU 等下次操作系统调度，轮到自己执行的时候再执行。操作系统不会为线程分配内存，但是线程组之间可以共享所属进程的资源，比如文件，数据库，进程的代码段，打开的文件描述符，进程的当前目录，全局变量，静态变量等线程的作用？进程中运行的单元，运行的是线程(进程不运行，但是占据资源)，如果线程不运行了，进程就...

一、创建 import numpy as np t1 = np.array([1, 2, 3], dtype=float) print(type(t1), t1, t1.dtype) t2 = np.arange(4, dtype="int") print(type(t2), t2, t2.dtype) t3 = np.arange(10, 20).resh...

一、Series一维容器 import pandas as pd # 创建时传入可迭代对象即可 s1 = pd.Series(range(6), index=list("ABCDEF")) print(s1) # 字典创建 temp_dict = {'name': 'wang', 'age': 20, 'tel':10010, 'like':'sleep'} s2= pd.Se...

Cookie简介Cookie 并不是它的原意“甜饼”的意思, 而是一个保存在客户机中的简单的文本文件, 这个文件与特定的 Web 文档关联在一起, 保存了该客户机访问这个Web 文档时的信息, 当客户机再次访问这个 Web 文档时这些信息可供该文档使用。用于服务器识别区分不同客户端，从而做出不同的相应，返回不同页面。接下来要爬取本人QQ空间数据，对比设置Cookie和不设置Cookie的爬取效...

爬虫为什么要设置代理？很多网站会检测某一段时间某个IP的访问次数(通过流量统计，系统日志等)，如果访问次数多的不像正常人，它会禁止这个IP的访问。所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。代理的原理：在请求目的服务器之前，先请求代理服务器，然后让代理服务器去请求目的服务器，代理服务器从目的服务器拿到数据后，转发给我们的代码代码中使用代...

urlopen()原型 ：urlopen(url, data=None, proxies=None)作用：创建一个表示远程url的类文件对象，然后像本地文件一样操作这个类文件对象来获取远程数据。url：统一资源定位符，表示远程数据的路径，一般是网址；data：表示数据提交到url的方式proxies：用于设置代理from urllib import requestfrom urlli...