soul7y的博客

zsh: command not found: conda

Python获得一给定日期是星期几import datetime;day=datetime.datetime(2020,7,27).strftime("%w");print(day)注：如果是星期天，得到的结果是0

配置import numpy as npimport pandas as pdimport math读取数据读取excel数据df=pd.read_excel('data/USD_CNY汇率历史数据(1).xlsx')读取csv数据data = pd.read_csv('shopping.csv')取指定数据指定列result=df["收盘价"]符合条件数据dataM=data[data['性别']=='M']处理数据求对数rlog=np.log(result)

根据前两篇笔记，Scrapy爬虫框架笔记（二）。以此运用scrapy框架进行爬虫福布斯富豪榜这个网站。网页如图所示，我们爬取排名、姓名、财富值、财富来源、年龄、城市、行业信息。创建项目命令行进入在我们想创建的目录，输入scrapy startproject tutorial即可创建一个tutorial文件夹。然后在spiders文件夹下创建一个dmoz_spider.py文件。item依据我们要获取的信息来定义Itemimport scrapyclass DmozItem(scrapy.It

之前在做Scrapy爬虫框架，今天重新用一下之前的程序，用requests+BeautifulSoup来爬起网页，发现报错发现之前的anaconda换电脑了忘记装了。所以就重新装一下anaconda，并且在Pycharm中配置anaconda。下载Anaconda（官网）就是可以便捷获取包且对包能够进行管理，同时对环境可以统一管理的发行版本。Anaconda包含了conda、Python在内的超过180个科学包及其依赖项。去官网点击download下载即可。安装一直下一步就可以，安装位置可以换一下

上一篇记录了配置环境和Scrapy框架最简单的一个小应用，抓取了网页源码。但是在实际的应用中我们需要的是网页上的部分信息，这时我们需要从源码中提取所需要的数据，就需要使用选择器（Selectors）。通过特定的 XPath 或者 CSS 表达式来“选择” HTML文件中的某个部分。XPath 是一门用来在XML文件中选择节点的语言，也可以用在HTML上。 CSS 是一门将HTML文档样式化的语言。选择器由它定义，并与特定的HTML元素的样式相关连。构造选择器为了方便起见，response对象以 .sel

之前一直用requests+BeautifulSoup进行爬虫，想要接触一下Scrapy。配置环境首先需要配置环境，按照Scrapy文档给出的需要安装python+lxml+OpenSSL然后才能安装Scrapy。所以按照步骤安装python3.7之后使用pip install依次安装lxml、OpenSSL、Scrapy。然后命令行进入存储代码的目录中，egH:\python\Scrapy，执行scrapy startproject tutorial。会包含一下文件tutorial/ sc