Python数据分析与挖掘

最新推荐文章于 2025-05-02 11:41:46 发布

原创

最新推荐文章于 2025-05-02 11:41:46 发布 · 2.3k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#数据分析 #数据挖掘 #pandas

本文介绍了数据挖掘的基础知识，包括数据分析和图像识别的实例。重点讲解了Python中pandas库在数据获取、处理和可视化的应用，如使用requests库进行数据爬取，pandas进行数据清洗和分析，并通过pandas实现股票数据的可视化和趋势预估。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、数据挖掘概述
1.数据分析
在这里插入图片描述

二、数据挖掘方式
例：图像识别
1.数据挖掘场景：
在这里插入图片描述
2.数据挖掘常用库

三、案例操作
1.需求分析
版本：V1.0
需求：预测模型----预测股票的波动趋势
功能描述：
某网站股票数据爬取
数据指标分析
数据可视化显示
数据趋势预估

2.pandas库
在这里插入图片描述
1）数据获取
获取方案：
爬虫：一段自动抓取互联网信息的程序，从互联网上抓取对于我们有价值的信息
requests库是实现数据获取

2）数据处理
对于数据科学家，无论数据分析还是数据挖掘来说，Pandas是一个非常重要的Python包。
Pandas提供了很多方法，使得数据处理非常简单，同时在数据处理速度上也做了很多优化，使得和Python内置方法相比时有了很大的优势。

3）可视化
在这里插入图片描述

四、数据分析代码实现

"""
数据分析操作流程：
    1- 获取数据
    2- 存储数据
    3- 洗数据--数据过滤
    4- 算法介入
    5- 结果展示
    6- 分析汇总
"""
# 1- 获取数据：1.本地获取2.网上获取
import csv
import threading
import time
import pandas
import requests


# 创建数据存储文件csv
fo = open("股票数据.csv", mode='w', encoding='utf-8', newline='')
# 1- 写入csv列名
csv_write = csv.DictWriter(fo, fieldnames=["股票名称", "股票代码", "当前价格", "成交量"])
# 写入
csv_write.writeheader()


urlList = [
'https://xueqiu.com/service/v5/stock/screener/quote/list?page={}&size=30&order=desc&orderby=percent&order_by=percent&market=CN&type=sh_sz&_={}'