爬虫后如何进行数据存储和进行数据分析

最新推荐文章于 2024-12-30 12:42:56 发布

原创

最新推荐文章于 2024-12-30 12:42:56 发布 · 2.4k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#数据分析 #爬虫

本文介绍了爬虫获取链家北京租房信息后，如何存储数据到数据库以及进行数据分析。首先建立数据库和表格，然后将爬取的数据导入。接着，通过两个API接口实现功能：一个用于展示不同地区房型的平均租金，另一个生成对比图。在生成对比图的过程中，主要难点包括生成随机颜色并将地区、价格与颜色结合，生成可视化效果。

爬取一个链家的北京租房信息，当数据爬取出来之后我们可以将其传入数据库中进行后续操作，首先要进行一个数据库创造和表格的建立。

import sqlite3

conn = None

def initDataConnect() :
    global conn

    #创建或者连接已存在的数据库
    print('../../database/data.db')
    conn = sqlite3.connect('./database/data.db');
    print("数据库连接成功")

    #初始化数据表
    initTable()
    return conn
def getConn():
    global conn
    return conn

def execSql(sql):
    global conn
    print(sql)
    conn.cursor().execute(sql)
    conn.commit()

def selectData(sql):
    global conn
    cursor = conn.cursor().execute(sql)
    return cursor


def initTable():
    global conn
    try:
        conn.execute('''create table building_data
    (
        id       CHAR(50) not null
            constraint table_name_pk
                primary key,
        name     CHAR(200),
        adrress  CHAR(500),
        area     CHAR(50),
        price   CHAR(100),
        location CHAR(100),
        bz       CHAR(500)
    );''')
        co

最低0.47元/天解锁文章