数据分析——房源分析项目

最新推荐文章于 2024-04-16 12:40:03 发布
最新推荐文章于 2024-04-16 12:40:03 发布
阅读量2.9k 收藏 34
点赞数 4
CC 4.0 BY-SA版权
分类专栏： python数据可视化 数据分析入门 Python 文章标签： 机器学习 python 数据分析 可视化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42218582/article/details/103655328

导入模块

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import matplotlib as mpl
%matplotlib inline
import seaborn as sns
from IPython.display import display
plt.style.use("fivethirtyeight")
sns.set_style({'font.sans-serif':['simhei','Arial']})

ps:数据已上传至 github 请点击下载

数据规整

lf_df = pd.read_csv('./lianjia.csv')
lf_df.head()
DirectionDistrictElevatorFloorGardenIdLayoutPriceRegionRenovationSizeYear
0东西灯市口NaN6锡拉胡同21号院1011026470433室1厅780.0东城精装75.01988
1南北东单无电梯6东华门大街1011026509782室1厅705.0东城精装60.01988
2南西崇文门有电梯16新世界中心1011026727433室1厅1400.0东城其他210.01996
3南崇文门NaN7兴隆都市馨园1011025774101室1厅420.0东城精装39.02004
4南陶然亭有电梯19中海紫御公馆1011025746962室2厅998.0东城精装90.02010
# 获取所有数据列信息
lf_df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 23677 entries, 0 to 23676
Data columns (total 12 columns):
Direction     23677 non-null object
District      23677 non-null object
Elevator      15440 non-null object
Floor         23677 non-null int64
Garden        23677 non-null object
Id            23677 non-null int64
Layout        23677 non-null object
Price         23677 non-null float64
Region        23677 non-null object
Renovation    23677 non-null object
Size          23677 non-null float64
Year          23677 non-null int64
dtypes: float64(2), int64(3), object(7)
memory usage: 2.2+ MB

# 拷贝一份数据，不对原始数据 进行 修改
df = lf_df.copy()
df.head()
DirectionDistrictElevatorFloorGardenIdLayoutPriceRegionRenovationSizeYear
0东西灯市口NaN6锡拉胡同21号院1011026470433室1厅780.0东城精装75.01988
1南北东单无电梯6东华门大街1011026509782室1厅705.0东城精装60.01988
2南西崇文门有电梯16新世界中心1011026727433室1厅1400.0东城其他210.01996
3南崇文门NaN7兴隆都市馨园1011025774101室1厅420.0东城精装39.02004
4南陶然亭有电梯19中海紫御公馆1011025746962室2厅998.0东城精装90.02010
# 计算 每一平米的价格
# 总价 / 总面积
df['PerPrice'] = df['Price'] / df['Size']
df.head()
DirectionDistrictElevatorFloorGardenIdLayoutPriceRegionRenovationSizeYearPerPrice
0东西灯市口NaN6锡拉胡同21号院1011026470433室1厅780.0东城精装75.0198810.400000
1南北东单无电梯6东华门大街1011026509782室1厅705.0东城精装60.0198811.750000
2南西崇文门有电梯16新世界中心1011026727433室1厅1400.0东城其他210.019966.666667
3南崇文门NaN7兴隆都市馨园1011025774101室1厅420.0东城精装39.0200410.769231
4南陶然亭有电梯19中海紫御公馆1011025746962室2厅998.0东城精装90.0201011.088889
# 重新摆放列的位置
columns = ['Region','District','Garden','Layout','Floor','Year','Size',
           'Elevator','Direction','PerPrice','Price']
# 第一种方法
df.loc[:,columns]
# 第二种方法
df = pd.DataFrame(df,columns=columns)
display(df.head(2))
RegionDistrictGardenLayoutFloorYearSizeElevatorDirectionPerPricePrice
0东城灯市口锡拉胡同21号院3室1厅6198875.0NaN东西10.40780.0
1东城东单东华门大街2室1厅6198860.0无电梯南北11.75705.0

数据分析

地区特征分析

对二手房区域分组，对比各个地区二手房数量和每平米房价
各个地区二手房数量
# count()统计数量，
# sort_values(ascending=True)升序排列
# to_frame()将series转换为dataframe
df_house_count = df.groupby('Region')['Size']\
.count()\
.sort_values(ascending=True)\
.to_frame()

# 修改列名称
df_house_count = df_house_count.reset_index()\
.rename({'Region':'地区','Size':'数量'},axis=1)\
.set_index('地区')
df_house_count
数量
地区
密云12
怀柔15
平谷41
亦庄开发区469
门头沟496
石景山882
顺义1221
房山1442
东城1533
通州1602
大兴2115
西城2130
昌平2811
丰台2952
朝阳2973
海淀2983

各地区 每平米房价对比

df_mean_house = df.groupby('Region')['PerPrice'].mean()\
.to_frame().reset_index()\
.rename({'Region':'地区','PerPrice':'每平米房价'},axis=1)\
.set_index('地区')
df_mean_house
每平米房价
地区
东城9.864243
丰台6.098628
亦庄开发区4.696853
大兴5.414790
密云2.392645
平谷2.749869
怀柔3.934458
房山3.948686
昌平4.402832
朝阳7.317792
海淀8.847025
石景山5.535677
西城10.688348
通州5.240839
门头沟4.017825
顺义4.974990

各地区房价和数量信息可视化

fig = plt.figure(figsize=(12,9))
ax1 = fig.add_subplot(5,1,1)
sns.barplot(x = df_mean_house.index,
            y = '每平米房价',
            palette = 'Blues_d',
            data = df_mean_house,
            ax = ax1)
# 修改 x轴的字体大小
ax1.set_xlabel('地区',{'size':14})
# 修改 y轴的字体大小
ax1.set_ylabel('每平方米房价',{'size':14})
# 设置刻度字体大小
ax1.tick_params(labelsize=10)
# 设置子图的标题
_ = ax1.set_title('北京各地区二手房每平米单价对比',fontsize=14)
# 第二个子图
ax2 = fig.add_subplot(5,1,3)

sns.barplot(x=df_house_count.index,
            y=df_house_count['数量'],
            data = df_house_count,
            palette='Greens_d',
            ax=ax2,
           )
# 修改 x轴的字体大小
ax2.set_xlabel('地区',{'size':14})
# 修改 y轴的字体大小
ax2.set_ylabel('数量',{'size':14})
# 设置刻度字体大小
ax2.tick_params(labelsize=10)
# 设置子图的标题
_ = ax2.set_title('北京各地区二手房数量',fontsize=14)

# 第三个子图，箱型图
ax3 = fig.add_subplot(5,1,5)
sns.boxplot(x='Region',y='Price',data=df,ax=ax3)
_ = ax3.set_title("北京各大区二手房房屋总价",fontsize=14)
ax3.set_xlabel("区域")
_ = ax.set_ylabel("房屋总价")

房屋面积特征分析

fig = plt.figure(figsize=(15,9))
ax1 = fig.add_subplot(1,2,1)
# 画出直方图,查看房屋面积特征分布
sns.distplot(df['Size'],bins=100,ax=ax1,color='r',kde=True)
ax2 = fig.add_subplot(1,2,2)
# 房屋面积和价格的关系
sns.regplot(x='Size',y='Price',data=df,ax=ax2)

size分布

通过 distplot绘制的柱状图观察size特征的分布情况，属于长尾类型的分布
所谓的长尾分布，就是说明有一些面积很大超出正差范围的二手房

Size和Price的关系

通过 regplot绘制的线性图，发现Size特征基本于Price呈线性关系。
符合常识，面积越大，价格越高。
但是有两组明显的异常点：

  1. 面积很小，不到10平米，但价格却贵的离谱
  2. 有一个面积超过了1000平米，价格却特别低
# 筛选出面积小于10平米所有的房屋
condition = df['Size'] < 10
df[condition]
RegionDistrictGardenLayoutFloorYearSizeElevatorDirectionPerPricePrice
1168房山长阳世茂维拉叠拼别墅520155.0毛坯240.97平米216.0000001080.0
1458房山长阳世茂维拉叠拼别墅520155.0毛坯242.78平米220.0000001100.0
1797房山长阳世茂维拉叠拼别墅520155.0精装242.96平米196.000000980.0
2268顺义顺义其它龙湖好望山叠拼别墅420144.0精装295.88平米250.0000001000.0
2274顺义顺义其它鹭峯国际叠拼别墅420145.0精装295.01平米290.0000001450.0
2276顺义顺义其它龙湖好望山叠拼别墅320144.0毛坯292.31平米215.000000860.0
2432顺义顺义其它龙湖好望山叠拼别墅520136.0精装294.42平米163.333333980.0
4078大兴西红门鸿坤林语墅叠拼别墅320154.0精装427.5平米787.5000003150.0
4079大兴西红门鸿坤林语墅叠拼别墅420154.0精装361.8平米595.0000002380.0
4761大兴西红门鸿坤林语墅叠拼别墅320155.0精装386.83平米540.0000002700.0
7533昌平回龙观龙城花园N区叠拼别墅419972.0简装107.93平米310.000000620.0
8765通州通州其它旭辉御锦叠拼别墅620145.0毛坯195.32平米156.000000780.0
9020通州通州其它旭辉御锦叠拼别墅620144.0精装259.87平米280.0000001120.0
9080通州通州其它旭辉御锦叠拼别墅620144.0毛坯259.76平米262.5000001050.0
9203通州通州其它旭辉御锦叠拼别墅620144.0精装260.07平米262.5000001050.0
9254通州通州其它旭辉御锦叠拼别墅620144.0毛坯264.6平米275.0000001100.0
11531丰台丽泽西宸原著叠拼别墅620164.0毛坯335.51平米1000.0000004000.0
14298海淀西山中间建筑一区叠拼别墅320078.0精装266.61平米168.7500001350.0
15334海淀西山西山美墅馆F区叠拼别墅420044.0简装203.73平米550.0000002200.0
17311朝阳大望路首府官邸叠拼别墅520075.0精装523.4平米900.0000004500.0

所有面积小于10的数据全部都是别墅，数据出现异常的原因是由于别墅的结构
比较特殊，字段定义与二手商品放不太一样导致爬虫爬取数据错位。
将这些别墅房移除。

# 筛选出面积大于1000的房屋
condition = df['Size']>1000
df[condition]
RegionDistrictGardenLayoutFloorYearSizeElevatorDirectionPerPricePrice
8754通州通州其它新华联科技大厦1房间0卫820091019.0有电梯南1.6683021700.0

结果发现，房屋面积大于1000的不是普通的民用房屋
而是商业用房，这个也需要移除

condition = (df['Layout'] != '叠拼别墅') & ( df['Size'] <1000)
df = df[condition]

重新可视化后，就没异常数据了

fig = plt.figure(figsize=(15,9))
ax1 = fig.add_subplot(1,2,1)
# 画出直方图,查看房屋面积特征分布
sns.distplot(df['Size'],bins=100,ax=ax1,color='r',kde=True)
ax2 = fig.add_subplot(1,2,2)
# 房屋面积和价格的关系
sns.regplot(x='Size',y='Price',data=df,ax=ax2)

户型特征分析

plt.figure(figsize=(15,15))
sns.countplot(y='Layout',data=df)
_ = plt.title('房屋户型',fontsize=15)
plt.xlabel('数量')
plt.ylabel('户型')
plt.show()


# 找出户型特征最多的五个
df['Layout'].value_counts().sort_values(ascending=False).head()

2室1厅    9485
3室1厅    3999
3室2厅    2765
1室1厅    2681
2室2厅    1671
Name: Layout, dtype: int64

户型特征的厅室搭配花样太多了，各种奇怪的结构，需要进行特征处理

可以看出，最多的是二室一厅

现在假设，两室一厅、三室两厅为精装房

三室一厅、二室二厅为简装房

一室0厅、二室0厅为毛胚房

剩余的划分为 其它

# 条件
map_dict = {
    '2室1厅':'精装房',
    '2室2厅':'简装房',
    '3室1厅':'简装房',
    '1室0厅':'毛胚房',
    '2室0厅':'毛胚房',
    '3室1厅':'精装房',
}
# 增加一列，作为户型类别
df.loc[:,'Renovation'] = df.Layout.map(map_dict)
df.loc[:,'Renovation']=df['Renovation'].fillna('其它')
df.head()
RegionDistrictGardenLayoutFloorYearSizeElevatorDirectionPerPricePriceRenovation
0东城灯市口锡拉胡同21号院3室1厅6198875.0NaN东西10.400000780.0精装房
1东城东单东华门大街2室1厅6198860.0无电梯南北11.750000705.0精装房
2东城崇文门新世界中心3室1厅161996210.0有电梯南西6.6666671400.0精装房
3东城崇文门兴隆都市馨园1室1厅7200439.0NaN南10.769231420.0其它
4东城陶然亭中海紫御公馆2室2厅19201090.0有电梯南11.088889998.0简装房

对 Renovation 特征分析

df['Renovation'].value_counts()

精装房    13484
其它      7952
简装房     1671
毛胚房      549
Name: Renovation, dtype: int64

fig = plt.figure(figsize=(20,5))
ax1 = fig.add_subplot(1,3,1)
# 统计各类房的数量
sns.countplot(df['Renovation'],ax=ax1)

# 柱状图
ax2 = fig.add_subplot(1,3,2)
# 使用的是平均值
sns.barplot(x='Renovation',y='Price',data=df,ax=ax2)
# 箱型图
ax3 = fig.add_subplot(1,3,3)
sns.boxplot(x='Renovation',y='Price',data=df,ax=ax3)

电梯特征分析

之前的处理阶段，我们能发现，Elevator特征是存在着大量的缺失值
所以需要进行一些处理

# 查看缺失值数量
condition = df['Elevator'].isnull()
len(df[condition])

8237

常见的处理缺失值方法有：平均数、中位数填补/删除缺失值

拉格朗日中值法等等，但是有无电梯并不是具体的数据。根本不存在平均数、中位数这一说

可以换一种思路，当楼层大于等于6层就要有电梯，小于六层就没有

df.head()
RegionDistrictGardenLayoutFloorYearSizeElevatorDirectionPerPricePriceRenovation
0东城灯市口锡拉胡同21号院3室1厅6198875.0NaN东西10.400000780.0精装房
1东城东单东华门大街2室1厅6198860.0无电梯南北11.750000705.0精装房
2东城崇文门新世界中心3室1厅161996210.0有电梯南西6.6666671400.0精装房
3东城崇文门兴隆都市馨园1室1厅7200439.0NaN南10.769231420.0其它
4东城陶然亭中海紫御公馆2室2厅19201090.0有电梯南11.088889998.0简装房
def ModifyElevator(x):
    # 由于 np.nan为flaot对象
    if isinstance(x['Elevator'],float):
        if x.Floor >6:
            return '有电梯'
        else:
            return '无电梯'
    return x['Elevator']
df['Elevator']= df.apply(ModifyElevator,axis=1)

电梯特征可视化

fig = plt.figure(figsize=(20,10))
ax1 = fig.add_subplot(1,2,1)
sns.countplot(x='Elevator',data=df,ax=ax1)
ax2 = fig.add_subplot(1,2,2)
sns.barplot(x='Elevator',y='Price',data=df,ax=ax2)

年份特征分析

grid = sns.FacetGrid(
            df,
            row='Elevator',
            col='Renovation',
            palette='seismic',aspect=2)
grid.map(plt.scatter,'Year','Price')
grid.add_legend()

整个二手房房价趋势是随着时间增长而增长的

毛胚房的价格稳定

简装房主要是在 1980年之后

1980年之前几乎不存在电梯二手房数据，说明1980年之前还没有大面积安装电梯

楼层特征分析

fig = plt.figure(figsize=(12,9))
ax1 = fig.add_subplot(1,1,1)
sns.countplot(x='Floor',data=df,ax=ax1)
_ = ax1.set_xlabel('楼层',fontsize=20)
_ =ax1.set_ylabel('数量',fontsize=20)

可以看到，6层二手房数量最多，但是单独的楼层特征没有什么意义，因为每个小区

住房的总楼层都一样,我们需要知道楼层的相对意义。

此外，楼层与文化也紧密联系在一次，中国人喜欢6不喜欢4

喜欢七层不喜欢八层，也不喜欢十八层

这些复杂的条件结合起来，就使得楼层变成一个非常复杂的特征。

特征工程

特征工程包括的内容很多，有特征的清洗，预处理、监控等，而预处理根据单一特征

或多特征又分很多种方法，如归一化、降维，特征选择，特征筛选等等。

这么多方法，为的是什么呢？其目的就是让这些特征更友好的作为模型输入

处理数据的好坏会严重影响模型的性能，而好的特征工程有的时候甚至比建模调参更重要

之前我们处理一些数据，就是我们常说的特征工程，如下几个例子：

'''
    特征工程
'''

# 1. 移除结构类型异常值和房屋大小异常值
# condition = (df['Layout'] != '叠拼别墅') & ( df['Size'] <1000)
# df = df[condition]

# 2. 填补 Elevator缺失值
# def ModifyElevator(x):
#     # 由于 np.nan为flaot对象
#     if isinstance(x['Elevator'],float):
#         if x.Floor >6:
#             return '有电梯'
#         else:
#             return '无电梯'
#     return x['Elevator']
# df['Elevator']= df.apply(ModifyElevator,axis=1)

# 3. 只考虑 “室” 和 “厅”，将其它少数“房间” 和 “卫” 移除
# 3室1厅
df = df[(df['Layout']\
         .str.extract('^\d(.*?)\d.*?') == '室')[0]]
df.head()
RegionDistrictGardenLayoutFloorYearSizeElevatorDirectionPerPricePriceRenovation
0东城灯市口锡拉胡同21号院3室1厅6198875.0无电梯东西10.400000780.0精装房
1东城东单东华门大街2室1厅6198860.0无电梯南北11.750000705.0精装房
2东城崇文门新世界中心3室1厅161996210.0有电梯南西6.6666671400.0精装房
3东城崇文门兴隆都市馨园1室1厅7200439.0有电梯南10.769231420.0其它
4东城陶然亭中海紫御公馆2室2厅19201090.0有电梯南11.088889998.0简装房
# 4. 提取 “室” 和 “厅”创建新特征
df.loc[:,'Layout_roomNum'] = df['Layout'].str.extract(r'(\d)室')[0]
df.loc[:,'Layout_hallNum'] = df['Layout'].str.extract(r'\d.*(\d).*')[0]
df.head()
RegionDistrictGardenLayoutFloorYearSizeElevatorDirectionPerPricePriceRenovationLayout_roomNumLayout_hallNum
0东城灯市口锡拉胡同21号院3室1厅6198875.0无电梯东西10.400000780.0精装房31
1东城东单东华门大街2室1厅6198860.0无电梯南北11.750000705.0精装房21
2东城崇文门新世界中心3室1厅161996210.0有电梯南西6.6666671400.0精装房31
3东城崇文门兴隆都市馨园1室1厅7200439.0有电梯南10.769231420.0其它11
4东城陶然亭中海紫御公馆2室2厅19201090.0有电梯南11.088889998.0简装房22
# 5. 根据已有特征创造新特征

df.loc[:,'Layout_total_num'] = df['Layout_roomNum'].astype(np.int16) + \
    df['Layout_hallNum'].astype(np.int16)
df.head()
RegionDistrictGardenLayoutFloorYearSizeElevatorDirectionPerPricePriceRenovationLayout_roomNumLayout_hallNumLayout_total_num
0东城灯市口锡拉胡同21号院3室1厅6198875.0无电梯东西10.400000780.0精装房314
1东城东单东华门大街2室1厅6198860.0无电梯南北11.750000705.0精装房213
2东城崇文门新世界中心3室1厅161996210.0有电梯南西6.6666671400.0精装房314
3东城崇文门兴隆都市馨园1室1厅7200439.0有电梯南10.769231420.0其它112
4东城陶然亭中海紫御公馆2室2厅19201090.0有电梯南11.088889998.0简装房224
# 6. 按中位数对 “year” 特征进行分箱
df.loc[:,'Year'] = pd.qcut(df['Year'],q=8,precision=0)
df.head()
RegionDistrictGardenLayoutFloorYearSizeElevatorDirectionPerPricePriceRenovationLayout_roomNumLayout_hallNumLayout_total_num
0东城灯市口锡拉胡同21号院3室1厅6(1949.0, 1990.0]75.0无电梯东西10.400000780.0精装房314
1东城东单东华门大街2室1厅6(1949.0, 1990.0]60.0无电梯南北11.750000705.0精装房213
2东城崇文门新世界中心3室1厅16(1990.0, 1997.0]210.0有电梯南西6.6666671400.0精装房314
3东城崇文门兴隆都市馨园1室1厅7(2003.0, 2004.0]39.0有电梯南10.769231420.0其它112
4东城陶然亭中海紫御公馆2室2厅19(2007.0, 2010.0]90.0有电梯南11.088889998.0简装房224
# 7. 删除无用特征
df.drop(['Garden','PerPrice'],axis=1,inplace=True)
df.head()
RegionDistrictLayoutFloorYearSizeElevatorDirectionPriceRenovationLayout_roomNumLayout_hallNumLayout_total_num
0东城灯市口3室1厅6(1949.0, 1990.0]75.0无电梯东西780.0精装房314
1东城东单2室1厅6(1949.0, 1990.0]60.0无电梯南北705.0精装房213
2东城崇文门3室1厅16(1990.0, 1997.0]210.0有电梯南西1400.0精装房314
3东城崇文门1室1厅7(2003.0, 2004.0]39.0有电梯南420.0其它112
4东城陶然亭2室2厅19(2007.0, 2010.0]90.0有电梯南998.0简装房224

end …

20 | 链家深圳二手房房源数据分析
微信号：RunsenLiu
08-11 602
本项目主要对链家二手房房源数据进行分析，通过数据可视化了解深圳的二手房源情况，对人们购房做出指导。
链家房源数据爬取(Scrapy）
qq_39206674的博客
05-11 2873
链家房源数据爬取(Scrapy）背景知识要求摘要正文创建Scrapy工程编写items代码编写Spider代码运行程序结论参考 背景知识要求 Scrapy爬虫框架。 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 具体学习请参考：https://scrapy-chs.readthedocs.io/zh_CN/l...
在线房源数据分析
12-21
针对链家二手房源的数据,利用python分析房源数量,均价,位置等信息 数据来源:https://github.com/XuefengHuang/lianjia-scrawler 该repo提供了python程序进行链家网爬虫，并从中提取二手房价格、面积、户型和二手房关注度等数据。 1. 导入链家网二手房在售房源的文件 import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns from matplotlib import font_manager import war
数据分析项目： 链家房源分析
TeddyBob的博客
07-23 857
df["房型"].apply(lambda s:tt(s)).values.tolist() 其中tt 是之前的设置的函数。 上述代码是把apply后变成一个列表 pd.DateFrame(df["房型"].apply(lambda s:tt(s)).values.tolist(),conlumns=["",""]) 时间的数据 最好 年月日 分开比较！ cut() 切割 pd.cut...
二手房房源信息数据分析项目完整流程
Backcanhave7
11-23 8779
（一）项目背景 ”学习的价值不在于记住多少，而在于应用多少”，这是几天前笔者在《数据分析——企业的贤内助》这本书中看到的一句话。笔者由此联想到了在数据分析这个领域里踽踽独行的自己。七、八月份的时候，笔者看完了《Python for Data Analysis》和另外一本《Python 数据分析实战》，当时就想着接下来做一个数据分析项目来练练手，但由于种种原因，最终没能及时付诸行动，后面又因为要学...
基于python爬虫二手房源数据可视化和房源推荐系统设计与实现（django框架）_房源智能推荐系统
最新发布
2401_84139624的博客
04-16 1154
二、国内外研究现状 目前，国内外有一些研究致力于房产信息的爬取和分析，但是大部分研究都集中在房价预测、房产市场分析方面，对二手房源数据可视化和推荐方面的研究相对较少。当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。
数据分析项目实战——链家深圳二手房房源数据分析
qq_42241832的博客
03-18 8833
摘要 分析背景 数据来源 分析目标 各行政区的房源总数 柱状图 均价前10的小区 均（总/单）价各区间房源数量 均价前10的地段 不同区域房源占比，户型占比，朝向占比 据 ...
python数据分析项目实战—————链家北京租房数据统计分析
flandreflor的博客
02-16 1万+
链家北京租房数据分析 本次的项目也不算是什么实战项目，仅仅是我们数据分析的实验作业而已，感兴趣的同学可以下载这个数据去练练手 原数据就在这里：链家北京租房数据提取码：6ij0
链家网沈阳二手房数据分析——从数据爬取到数据分析
nanquan11的博客
07-02 3512
数据爬取主要是通过使用requests实现的，鉴于爬取数据的流程简单以及电脑的性能所限，没有使用scrapy框架，而是使用where循环手动控制页码的形式，每次爬取5页信息，并将信息写入.csv文件中。 得到数据后，首先看一下数据的描述性变量，通过print(data_read.describe())得到如下结果： 观察网页，发现实际上当前区域只有1542套房源，可以得知数据里面包含了重复数据。 这是由于在爬取信息时采用了手动改变页面的形式，每次爬取后在写入csv文件时，都会写入一个表头，所以造成了表头重复
（二）爬取新房销售信息——数据分析+可视化篇
12-22
在本篇内容中，我们将探讨如何使用Python的pandas库和matplotlib进行数据分析和可视化，针对爬取的新房销售信息进行深入研究。首先，我们已经通过requests和BeautifulSoup4获取了包含楼盘名、地址和价格的CSV文件。...
Python宜昌房源数据获取与分析
weixin_44086712的博客
01-24 2395
一、写在前面 周末闲来无事，最近在关心房子的问题，就突发奇想写个博客，正好把之前学习的知识复习整理一下，也为需要买房的同事提供一点点启发。整个搞完工作量不小，算是一个小项目。过程有两大部分，一是宜昌（夷陵区）房源数据获取，二是对获取的数据进行分析，发现一些有趣问题与现象。 二、数据获取 在网上获取数据首先想到的肯定是写爬虫。关于爬虫目前我只会写一些简单的，大神专属Scrapy框架暂时不会用，但对于常规数据爬取（电影信息、图片、评论等）已经够了。这里需要友情感谢一下链家网，对于爬虫新手简直不要太友好，不会担心
【数据分析实战】杭州2019年链家在售房源数据分析
m0_63964122的博客
04-06 1870
1）探索个数据之间的相关性 2）各区房源数量对比 3）各区平均总价对比 4）各区每平米单价对比 5）房源关注热度对比 6）不同户型关注热度对比 7）不同朝向关注热度对比 8）不同产权关注热度对比 9）不同楼层关注热度热度对比 10）装修程度对关注度的影响 11）全杭州关注度最高小区TOP10
【Python数据分析】房价数据分析实战（包含源码和数据）
热门推荐
人人都是量化师的专栏
12-15 1万+
今天我们利用波士顿房价进行简单分析，快速熟悉数据挖掘和分析的一般流程。 1.导入数据。 2.查看数据维度，从结果可以出，该数据一共有506条记录，14个特征，然后再输出特征的名字和数据类型。 3.然后用.head()函数输出前面5条数据，初步查看数据的基本内容。 4.接着用.describe()函数进行数据的描述性分析，查看每一列（也就是每一个特征的数据）的条数、平均值、最大...
用Python分析北京二手房房价
Python中文社区
10-20 1446
数据科学俱乐部中国数据科学家社区♚作者：xiaoyu，一个半路转行的数据挖掘工程师，Python数据科学。数据初探首先导入要使用的科学计算包numpy,pandas,可视...
Python数据分析实战之北京二手房房价分析
JackTian
10-09 1万+
北京二手房房价分析与预测目的：本篇给大家介绍一个数据分析的初级项目，目的是通过项目了解如何使用Python进行简单的数据分析。数据源：博主通过爬虫采集的链家全网北京二手房...
短租数据集分析--利用pyecharts绘制房源分布地图及单因子方差分析
huntPython的博客
10-07 2100
文章目录前言一、绘制房源分布地图1.导入基本模块2.数据清洗2.读入数据总结 前言 共享，通过让渡闲置资源的使用权，在有限增加边际成本的前提下，提高了资源利用效率。随着信息的透明化，越来越多的共享发生在陌生人之间。短租，共享空间的一种模式，不论是否体验过入住陌生人的家中，你都可以从短租的数据里挖掘有趣的信息。本文主要根据爱彼迎平台公布的数据绘制房源分布地图以及进行在三种租房模式下地区因子水平对租房价格的影响。 数据集链接：天池大赛数据集 一、绘制房源分布地图 1.导入基本模块 import panda.
python多进程爬取上海房价并画出热力图分析
lbship的博客
04-25 6287
一、分析目的 1.探索上海市的房价区域分布 2.看看购房者都喜欢购买哪里的房子 二、数据采集 采集我爱我家上海区域的一万两千个小区的数据，采集的字段有小区、位置、最近30条成交套数、在售、在租、成交均价、成交总价、小区详细介绍等数据。直接上代码： import requests,codecs import pymongo,time from lxml import html from ...
北京二手房数据分析
weixin_44034053的博客
06-07 2293
目的 本案例得目标主要对数据集中的特征进行量化分析，并且通过图形可视化进行展示出来。项目数据来源于链家北京二手房数据。 数据预处理 首先导入分析过程中可能运用到的函数包，并读取显示前10行数据。 import pandas as pd import numpy as np import matplotlib.pyplot as plt import matplotlib as mpl import...
深入分析北京短租房源数据集：房源、时间、评论全解
最后，文件名称列表中的“天池——短租”暗示此数据集可能来自于某个数据分析竞赛平台，如阿里云天池平台。这表明该数据集可能已经在业界有一定的应用背景，并且可能已经被众多数据分析爱好者和专业人士使用过，从而...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

aa.1735803

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值