CZQ的博客

审核又不通过.....乏了。

使用 if-else 语句实现

1.请求网址    2.运行结果    3.源码

1. 首先爬取数据   2. 将数据存储至MySQL

1. 爬取新闻标题及链接  2. 将数据存至 Excel 文件

（已更最新链接）1. 简介 2. 下载 3. 使用​

        1.官网 ：https://scrapy.org/  ​2. Scrapy是什么？  3. Scrapy可以用来干什么？ 

两种方法：  ​ 一. 通过执行命令（有局限性）  ​ 二. 编写pipelines.py文件 (操作相对复杂)

1. 查看已安装的第三方库​ 通过PyCharm中 settings窗口 查看进入PyCharm，点击左上角 ‘File’ 并选择Settings选择 Project 下的 Python Interpreter , 则右侧为 已安装的第三方库(Package) 及其 版本号(Version)2. 安装第三方库A. 在PyCharm中安装a. 通过 settings窗口 安装在查看已安装第三方库的基础上，点击加号按钮在输入框内输入要安装库的名称，选择安装的版本（这里以j

Requests 模块首先一个简单的requests请求例子（直接复制到PyCharm运行即可）：import requestsurl = "https://www.baidu.com"# 将爬虫程序伪装成浏览器，从而获得更完整的响应数据headers = { "User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.

在Python网络爬虫中，获取一定的网页数据是必要的(如： url, headers 等)因为Google Chrome 浏览器的兼容性更高，所以这里推荐使用该浏览器进行网页浏览这里以 百度网页 为例：1. 在浏览器上方地址框输入 www.baidu.com， 并进入该网页2. 打开开发者页面在页面空白处右键 选择 检查(Inspect) 或 键盘键入F12 — 打开开发者模式3. 点击刷新网页，或在开发者模式键入 CTRL+R 通过浏览器获取响应找到document类型文件，并单击.

爬虫概述：1. 概念模拟浏览器， 发送请求， 获取响应模拟客户端(浏览器)发送网络请求，接收请求响应2. 分类根据被爬取网站的数量不同通用爬虫（搜索引擎）聚焦爬虫（有目标网站）是否以获取数据为目的功能性爬虫（投票）数据增量爬虫（招聘信息收集）根据url地址和对应的页面内容是否改变，数据增量爬虫又可分类url变，内容变url不变，内容变(更新)3.作用数据采集软件测试selenium12306抢票网站上投票网络安全短信轰炸

下载为了学习时的稳定性，尽量不要选择最新版本下载点击下面链接进入版本选择界面Windows下载Python安装安装时注意勾选环境变量（这里只做示范。在个人选择下载版本时，可选择3.7或3.8版本进行下载）代码编辑器 PyCharm为方便代码的编写，使用pycharm编辑器进行代码的编写点击下面链接，进入PyCharm官方网站进行下载PyCharm下载点击右上角“Download”选择 “Communtiy” 免费使用版本进行下载...