- 博客(7)
- 收藏
- 关注
RSS订阅原创 第一课numpy
维度：是一组数据的组织形式 形成特点关系，表达多层含义的数据 列表：数据类型可以不同，而数组：数据类型是相同的 一维数据：类表和集合 二维数据：一维数据的组合形式，表格是典型的二维数据 多维列表 多维数据： 高维数据：仅利用最基本的二元关系展示数据间的复杂结构 字典类型 NumPy 功能1.ndarray import numpy as np 观察：科学计算中，一个维度的所有数据的类型往往相同 ...
2020-04-14 19:13:39
453
原创 数据分析
数据分析的课程 能力：表示，清洗，统计，展示数据的能力 思想如何理解一组数据的表达含义 摘要：有损地提取数据的方法 conda/spyder/ipython 相关案例： 1图像的手绘效果 2引力波的绘制 3房价趋势的关联因素分析 4股票数据的趋势分析曲线 anaconda学习 conda 一个工具，用于包管理和环境管理 环境管理是能够允许用户使用不同版本的Python，并能灵活切换 Ipython...
2020-04-14 17:25:56
177
原创 利用scrapy进行股票实例爬虫
步骤 1.建立工程和spider模板 相关命令： scrapy startproject Baidustocks cd Baidustocks scrapy genspider stock baidu.com 进一步修改spider/stocks.py文件 2.编写spider 配置stocks.py文件 3编写item pipelines 配置pipelines.py文件 定义对爬取项（sc...
2020-04-13 18:10:27
382
原创 scrap的框架学习
1.Spider 爬虫部分发送请求，通过 spidermiddleware 中间层处理后发送给 ENGINE 引擎模块 2.引擎模块将请求发送给 SCHEDULER 模块进行调度 3.SCHEDULER 模块将可以执行的请求调度给引擎模块 4.引擎模块将请求发送给 DOWNLOADER 下载模块进行下载，期间会经过 download middleware 进行处理 5.下载模块将爬取好的网页响...
2020-04-13 15:56:47
459
原创 如何编写第一个scrapy
看图，输入相关的命令 第一步.建立一个爬虫工程 输入，scrapy startproject python123demo 回车后可以看到在自己的默认路径下建立了一个目录 图1 图2 -pycache_这个文件是缓存。 第2步，在工程中产生一个爬虫 scrapy gendpider demo python123.io parse（）用于处理响应，解析内容形成字典，发现新的URL爬取请求 第...
2020-04-13 15:26:54
181
原创 @Scrapy安装出现问题，Twisted安装不上的问题 ERROR: Twisted-20.3.0-cp36-cp36m-win_amd64.whl is not a supported wheel
@Scrapy安装出现问题，Twisted安装不上的问题 ERROR: Twisted-20.3.0-cp36-cp36m-win_amd64.whl is not a supported wheel on this platform. Twisted的“cp36”匹配的是python的3.6版本，我的python只有3.8的版本，所以没有支持的platform，因此安装了3.6的版本后，就能装上...
2020-04-13 00:39:51
3745
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人