每天学习一点点

目标网站：http://www.htqyy.com/top/hot目标数据：爬取音乐网站中列表第一页歌曲名称和音乐家的名字。第一步：初始化项目先在桌面创建一个文件夹，用于存放项目文件。文件夹创建完成后，打开文件夹，在文件夹内打开控制台（快捷键Shift + 鼠标右键-->在此处打开命令窗口），在控制台输入下面命令：scrapy startproject myspiderscrapy startproject 是固定的，后面的myspider是项目名称，可以自己命名。

目标网站：https://careers.tencent.com/search.html?pcid=40001目标数据：爬取前10页招聘信息中的岗位名称、工作职责、工作要求准备工作：先看下目标数据的获取方式，是从页面的HTML中获取还是从接口中直接获取。 通过对网站的分析，发现需要的数据是来自接口。如下图所示：话不多说，直接上代码：import requestsimport jsonheaders={ "user-agent"...

在爬虫过程中，有的网站需要cookie才能访问，这时候就要在请求时加入cookie信息，python3为例，添加cookie的方法如下：headers={"user-agent':'xxxxx'}cookies= {'Cookie':'xxxx'}res = requests.get(url,headers = headers,cookies = cookies)...

准备工作：1.安装第三方库：requests，安装教程可以参考：https://blog.youkuaiyun.com/liangmengbk/article/details/1067312692.对目标网站进行分析，获取目标文件链接目标网站：http://www.htqyy.com/top/hot（歌曲列表的url）目标文件：第一页中的20个音乐文件获取到歌曲列表的url后，还需要获取到每个音频文件的url，找任意一首歌曲，查看网站请求的文件信息，可以找到当前文件的地址（查找...

准备工作：要想使用python发送邮件，需要借助第三方库 pyemail，需要在计算机中安装这个库，安装第三方库的方法，参考下面链接：https://blog.youkuaiyun.com/liangmengbk/article/details/106731269第三方库安装好了以后，就可以写代码发送电子邮件了，下面以163邮箱为例，发送一封邮件给qq邮箱。需要准备好163邮箱（发件人）的授权密码，操作步骤如下：进入这个页面后，会看到下面的信息因为我的邮箱已经开通了授权密码...

1.如果是第一次安装第三方模块，需要先升级一下pip打开cmd窗口，输入命令python -m pipinstall --upgrade pip命令执行完成后会显示成功2. 安装需要的第三方模块拿pillow模块为例，在cmd窗口中输入pip install pillow安装完成...

大的方向分为3个：1.数据挖掘--爬虫所需技术：python、爬虫、爬虫框架、数据清洗、数据库2.web编程--网站所需技术：python、前端、web框架、数据库3.数据分析所需技术：python、数学、统计学、行业知识、数据挖掘...