Dzfly

写在前面——近日在处理数据的时候发现有的文件为csv文件，有的为tsv文件，大概搜了一下了解到：TSV是用制表符（‘\t’）作为字段值的分隔符；CSV是用半角逗号（‘,’）作为字段值的分隔符。https://www.jianshu.com/p/6e1c3e9f5e42所以我需要把格式统一，把tsv转化为csv，还需要在最后一列加上label。代码是自己东拼西凑的，如有错误，请指出，谢谢大家~import pandas as pdimport os# 原始文件位置source_path = ".

分类(Classification)与回归(Regression)都属于监督学习，他们的区别在于：分类：用于预测有限的离散值，如是否得了癌症（０，１），或手写数字的判断，是0,1,2,3,4,5,6,7,8还是9等。分类中，预测的可能的结果是有限的，且提前给定的。回归：用于预测实数值，如给定了房子的面积，地段，和房间数，预测房子的价格。LinearRegression 拟合一个带有系数 ...

假如需要从二维数组里面抽取一列取出来之后维度却变成了一维假如我们需要将其还原为二维，就需要newaxis方法实例展示：import numpy as np# 生成一个4×4的随机数组array = np.random.rand(4, 4)print(array)print(array.shape)# 更改前面的维度array1 = array[np.newaxis, :...

Python实现疫情数据分析并可视化时出现了一个问题：网页端的日期格式为xx.xx（eg：04.20，04.26），抓取下来的数据集显示的也是xx.xx（eg：04.20，04.26），但是再用pd.read_csv读取数据集时，显示的却是（eg：4.2，4.26），前后的0都会消失。（网上也有说在后面加上"\t"可以解决这个问题，但是我加了没反应…）我的解决方法是：抓取数据时修改日期的格...

完整项目见https://github.com/Narutoooooooo/Spider一、包含item pipelines的较完整爬虫步骤新建爬虫项目（如何创建爬虫项目）在mySpider/spiders/下新建test2.py，代码内容如下import scrapyimport reimport jsonfrom mySpider.items import Comment...

一、部分代码说明test.py完整项目见https://github.com/Narutoooooooo/Spiderimport scrapyimport reimport json# 定义网络爬虫类class ItcastSpider(scrapy.Spider): # 每个爬虫必须要有一个名字 name = "test" # 通过头来模仿用户请求...

一、网页有关知识http请求有两种get请求地址栏输入的请求参数直接放在url后面（参数长度有限制，安全性较低）post请求先建立连接，数据后发过去数据放在请求体里面（对数据长度没有限制，安全性较高）响应码200 --成功300 --重定向400 --网页找不到500 --服务器错误二、Scrapy简介scrapy是用python实现的一个为了爬取...

pandas简介pandas提供了使我们能够快速便捷地处理结构化数据的大量数据结构和函数pandas兼具NumPy高性能的数组计算功能以及电子表格和关系型数据库灵活的数据处理功能对于金融行业的用户，pandas提供了大量适合于金融数据的高性能时间序列功能和工具学统计的人会对R语言比较熟悉，R提供的data.frame对象功能仅仅是pandas的DataFrame所提供的功能的一个子集...

一、模块Python程序的架构Python程序的架构指将一个程序分割为源代码文件的集合以及将这些部分连接在一起的方法Python源代码文件：*.py一个py文件是一个模块（module）多个模块可以组成一个包（package）模块的执行环境模块包含变量、函数、类以及其他的模块（如果导入的话），而函数也有自己的本地变量模块的作用模块是Python中的最高级别组织单元，它...

解决方法一：通过修改配置文件来指定浏览器打开notebook步骤：打开anaconda promote输入：jupyter notebook --generate-config输出结果：Writing default config to: C:\Users\杜.jupyter\jupyter_notebook_config.py打开jupyter_notebook_conf...

一、基本数据结构numpy介绍numpy是一个专门用于矩阵化运算、科学计算的开源PythonnumPy将Python相当于变成一种免费的更强大的Matlab系统(1)强大的 ndarray 多维数组结构(2)成熟的函数库(3)用于整合C/C++和Fortran代码的工具包(4)实用的线性代数、傅里叶变换和随机数模块(5)Numpy和稀疏矩阵运算包scipy配合使用非常方便...

编码和解码编码是为了让机器读懂语言。即输入的是字符“中文”，那么编码就是将“中文” 编码为二进制格式让机器读懂在Python中，机器其实是不认识unicode的，而是接收的str即使输入的数据是unicode的，而在Python内部都会将unicode自动转为strstr通过解码函数decode()转换为unicode，unicode通过编码函数encode()转换为strUnicod...

错误类型一、语法错误（Syntax errors）代码编译时的错误，不符合Python语言规则的代码会停止编译并返回错误信息。发生原因：缺少起始符号或结尾符号(括号、引号等)缩进错误关键字拼写错误注：语法错误包含在异常基类中二、异常(Exceptions)异常相较于语法错误，异常比较难发现，因为它只在代码运行时才会发生如类型错误、数值错误、索引错误和属性错误等。...

数据的读取对文件数的读取是用read()方法，read()方法将返回文件中的所有内容eg:content = f.read()print contentf.close()注：记得每次用完文件后，都要关闭文件。否则文件就会一直被占用，不能被其他进程使用也可以使用with open() as f:在操作后自动关闭文件with open('helloworld.txt') as ...

布尔值布尔值True和False表示真和假注：在Python中以下值都会被看作是假（False）False、None、0、""、()、[]、{}==符号==符号是判断两个值、变量之间是否相等的操作符，相等则返回布尔值True对于字符型变量也可以eg:1 == Trueid = 'aaa'id == 'aaa' 输出TrueTrueif选择语句语法：...

数据的容器一、列表列表(list)是一个有序的序列结构，序列中的元素可以是不同的数据类型 列表可以进行一系列序列操作，如索引、切片、加、乘和检查成员等列表创建将列表中的各元素用逗号分隔开，并用中括号将所有元素包裹起来eg: list = [2,'Jump Shot'] print list 列表对象的增减使用append()方法添加元素，该方法会在列表末尾位置添加数据元...

Python语言是一种解释型、面向对象、动态数据类型的高级程序设计语言。*解释型语言的执行方式源代码→解释器→输出*编译型语言的执行方式源代码→编译→目标代码→执行→输出一、基本概念变量用来存储一些之后可能会变化的值变量命名规则变量名必须是大小写英文字母、数字或下划线的组合，不能用数字开头关键字不能用于命名变量如and、as、assert、break、class、co...