Java_KW的博客

文章目录安居客租房数据爬虫以及数据分析一、安居客租房数据爬虫部分二、安居客租房数据分析一、 读取数据，并简单处理数据1.1 判断是否有重复值1.2 判断是否有缺失值二、简单分析数据2.1 处理数据2.2 查看价格、面积的分布情况价格的分布情况面积的分布情况2.3 区域、层数对价格的影响各个区域的价格分布情况各个层级的价格分布情况三、分析数据间的相关性四、数据标准化五、总结安居客租房数据爬虫以及数据分析最近把安居客租房的数据爬取了一部分，正好想着进行一些简单的数据分析。一、安居客租房数据爬虫部分爬

文章目录判断文件是否存在，以及复制文件pandas 判断某一列的规则pandas 中 series 转换为 dataframepandas读取excel文件的两种方式dataframe 与列表运算获取某月的第一天和最后一天的日期pandas删除重复值*drop_duplicates*判断文件是否存在，以及复制文件import osimport shutil# 判断文件是否存在if not os.path.exists('C:\\Users'): # 复制文件，类似于 cp 命令 s

文章目录一、确认爬取目标二、尝试爬取三、使用`pyppeteer`库四、完整代码一、确认爬取目标爬取中国移动采购与招标网https://b2b.10086.cn/b2b/main/listVendorNotice.html?noticeType=2二、尝试爬取首先我使用开发者工具，尝试看一下，数据是怎么请求回来的。然后就发现这个，https://b2b.10086.cn/b2b/main/listVendorNoticeResult.html?ekp1APd1=5TLUwJWxAYS

文章目录xlwings基本结构创建一个app创建/打开一个books创建/打开一个sheet及相关操作xlwings处理数据获取数据写入数据动态获取范围numpy数组pandas数据框xlwings保存数据xlwingsxlwings和openpyxl类似，都是python操作excel的常用库。基本结构创建一个appimport xlwings as xw# visuble----创建一个app，将他展示出来# add_book---创建app时，是否创建一个工作簿app = x

文章目录groupby对象按列取值groupby对象可以按组迭代累计、过滤、转换和应用先导入包import numpy as npimport pandas as pdimport matplotlib.pyplot as pltplt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签plt.rcParams['axes.unicode_minus']=False #用来正常负号groupby对象df1 = pd.DataFram

import numpy as npimport pandas as pddef make_df(col,ind): data = {c:[str(c) + str(i) for i in ind] for c in col} return pd.DataFrame(data, ind)#pd.concat()合并时，此方法不会处理索引相同的情况，直接合并为新的索引。#索引相同处理方法x = make_df('ab',[0,1])y = make_df('ab',[3,4].

pandas数值运算方法1、通用函数：保留索引：对Series或DataFrame对象使用numpy的通用函数时，返回的是保留索引的pandas对象2、通用函数：索引对齐：当两个Series或DataFrame对象进行二元计算时，pandas会在计算过程中自动，对齐两个对象的索引。1.Series索引对齐，结果输出的是，索引的并集，但是只有交集才有计算结果，其他返回为空，当然，也可以设置空值，添加fill_value参数，进行填补空值。若两个都是空值，则不进行填充（必须使用通用函数，例如ad

文章目录pandas缺失值1、选择缺失值的方法：掩码和标签值2、pandas的缺失值3、None:python中的None对象4、NaN:数据类型的缺失值5、NaN和None的差异pandas处理缺失值pandas缺失值1、选择缺失值的方法：掩码和标签值掩码是一个与原数组维度相同的完整布尔类型数组/或者用用一个比特（0/1）表示有缺失值的局部状态标签值可能是具体的数值，也可能是一些极少出现的形式。还可能是一个更全局的值，比如NaN(不是一个数)表示缺失的浮点数2、pandas的缺失值pand