<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[wang1319864062的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/wang1319864062</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; wang1319864062]]></copyright><item><title><![CDATA[手写爬取静态页面汽车之家]]></title><link>https://blog.youkuaiyun.com/wang1319864062/article/details/81485081</link><guid>https://blog.youkuaiyun.com/wang1319864062/article/details/81485081</guid><author>wang1319864062</author><pubDate>Tue, 07 Aug 2018 17:19:46 +0800</pubDate><description><![CDATA[scrapy写多了,手写爬虫有点生疏,今天来回顾手写爬取静态页面,以便日后做笔记用,我今天爬取的是汽车之家网页, 
第一步:导入requests和bs4 
import requests 
from bs4 import BeautifulSoup 
第二步:获取页面,我们用get发送请求,encoding是编码,apparent_encoding是页面编码获取的一种方式 
response = ...]]></description><category></category></item><item><title><![CDATA[手写爬虫模拟登陆(无验证码)]]></title><link>https://blog.youkuaiyun.com/wang1319864062/article/details/81480816</link><guid>https://blog.youkuaiyun.com/wang1319864062/article/details/81480816</guid><author>wang1319864062</author><pubDate>Tue, 07 Aug 2018 14:36:27 +0800</pubDate><description><![CDATA[框架用多了,都是别人写好的一些内容,最近想自己手写一份爬虫模拟登陆系统,手写有什么好处呢?可以让你更好的去理解爬虫系统.我用的linux系统,pycharm版本3.6,



正文

首先手写的你需要安装requests:pip3 install requests 
我们以访问抽屉为例:https://dig.chouti.com/ 
手写模拟登陆,首先我们得访问这个网站,获取cookie(未授权...]]></description><category></category></item><item><title><![CDATA[爬取静态页面分页内容]]></title><link>https://blog.youkuaiyun.com/wang1319864062/article/details/81460734</link><guid>https://blog.youkuaiyun.com/wang1319864062/article/details/81460734</guid><author>wang1319864062</author><pubDate>Mon, 06 Aug 2018 20:28:09 +0800</pubDate><description><![CDATA[静态准备爬取静态页面分页知识,因为写博客现在目的是当笔记一样,当学过知识梳理一遍,如果有观众,不喜勿喷,不足之处可以多多指点 
工具:python3.6  
操作系统:linux  
浏览器:谷歌浏览器



创建项目

1.在虚拟机黑屏终端找个合适位置创建项目:scrapy startproject Qidian 
2.进入项目应用:cd Qdian 
3.创建爬虫器:scrapy genspi...]]></description><category></category></item><item><title><![CDATA[scrapy爬取起点小说网]]></title><link>https://blog.youkuaiyun.com/wang1319864062/article/details/81366551</link><guid>https://blog.youkuaiyun.com/wang1319864062/article/details/81366551</guid><author>wang1319864062</author><pubDate>Thu, 02 Aug 2018 19:56:31 +0800</pubDate><description><![CDATA[闲来无事,在学习过程中练习用scrapy爬取起点小说名 
工具:python3.6 
操作系统:linux 
浏览器:谷歌浏览器



创建项目

在黑屏终端创建一个项目:scrapy  startproject Qidian 
进入项目目录:cd   Qidian 
创建一个爬虫器:scrapy genspider qidian www.qidian.com/all   (注意:这里域名不能带h...]]></description><category></category></item></channel></rss>