<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[dwshadsfdf的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/dwshadsfdf</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; dwshadsfdf]]></copyright><item><title><![CDATA[redis]]></title><link>https://blog.youkuaiyun.com/dwshadsfdf/article/details/103756816</link><guid>https://blog.youkuaiyun.com/dwshadsfdf/article/details/103756816</guid><author>dwshadsfdf</author><pubDate>Sun, 29 Dec 2019 19:47:39 +0800</pubDate><description><![CDATA[]]></description><category></category></item><item><title><![CDATA[Mongo]]></title><link>https://blog.youkuaiyun.com/dwshadsfdf/article/details/103756653</link><guid>https://blog.youkuaiyun.com/dwshadsfdf/article/details/103756653</guid><author>dwshadsfdf</author><pubDate>Sun, 29 Dec 2019 19:29:32 +0800</pubDate><description><![CDATA[1、mongodb 文档数据库,存储的是文档(Bson-&gt;json的二进制化).
{name:‘zhangsan’,age:‘9’}
2、MongoDB特点:内部执行引擎为JS解释器, 把文档存储成bson结构,在查询时,转换为JS对象,并可以通过熟悉的js语法来操作.
2、mongo和传统型数据库相比,最大的不同:
传统型数据库: 结构化数据, 定好了表结构后,每一行的内容,必是符合表结...]]></description><category></category></item><item><title><![CDATA[mmongo]]></title><link>https://blog.youkuaiyun.com/dwshadsfdf/article/details/103688224</link><guid>https://blog.youkuaiyun.com/dwshadsfdf/article/details/103688224</guid><author>dwshadsfdf</author><pubDate>Tue, 24 Dec 2019 18:57:14 +0800</pubDate><description><![CDATA[一、mongo的配置
1、新建文件夹：
C:\MongoDB\Server\3.4\data\db
C:\MongoDB\Server\3.4\data\logs
2、配置环境变量：
C:\MongoDB\Server\3.4\bin配置到path系统环境变量中。
3、测试是否配置成功
mongod --dbpath C:\MongoDB\Server\3.4\data\db
4、配置服务：
mo...]]></description><category></category></item><item><title><![CDATA[多线程爬虫]]></title><link>https://blog.youkuaiyun.com/dwshadsfdf/article/details/103674322</link><guid>https://blog.youkuaiyun.com/dwshadsfdf/article/details/103674322</guid><author>dwshadsfdf</author><pubDate>Mon, 23 Dec 2019 22:06:24 +0800</pubDate><description><![CDATA[关注：程序运行速度----&gt;主要是由cpu（大脑）来决定。
	  想要提高程序的运行速度-----&gt;提高cpu利用率。
	  
提高cpu的利用率由两种途径：
（1）让cpu不休息。cup每时每刻都在处理任务，这个任务可以理解为线程。这种情况就叫做多线程。
（2）cpu都是分核。每个核就是一个小脑袋。可以理解一心多用。让每个核都作用起来，去干不同的事情，这种方法是就叫多进程。

一、程...]]></description><category></category></item><item><title><![CDATA[HTML处理]]></title><link>https://blog.youkuaiyun.com/dwshadsfdf/article/details/103657502</link><guid>https://blog.youkuaiyun.com/dwshadsfdf/article/details/103657502</guid><author>dwshadsfdf</author><pubDate>Sun, 22 Dec 2019 21:46:37 +0800</pubDate><description><![CDATA[一、反爬策略：
1、请求头：
—user-agent
—referer
—cookie
2、访问频率限制。
—代理池
—再用户访问高峰期进行爬取，冲散日志。12-13   7-10
—设置等待时长。time.sleep(3)
3、ajax异步请求，用接口获取数据。
4、能一次性获取的数据，绝不发送第二次请求（获取数据的过程中尽量减少请求次数。）
5、页面内容是js代码。
selenium+phan...]]></description><category></category></item><item><title><![CDATA[xpath提取数据]]></title><link>https://blog.youkuaiyun.com/dwshadsfdf/article/details/103640993</link><guid>https://blog.youkuaiyun.com/dwshadsfdf/article/details/103640993</guid><author>dwshadsfdf</author><pubDate>Sat, 21 Dec 2019 08:33:51 +0800</pubDate><description><![CDATA[一、什么xml？
1、定义：可扩展标记性语言
2、特点：xml的是具有自描述结构的半结构化数据。
3、作用：xml主要设计宗旨是用来传输数据的。他还可以作为配置文件。
二、xml和html的区别？
1、语法要求不同：xml的语法要求更严格。
（1）html不区分大小写的，xml区分。
（2）html有时可以省却尾标签。xml不能省略任何标签，严格按照嵌套首位结构。
（3）只有xml中有自闭标签(没...]]></description><category></category></item><item><title><![CDATA[正则表达式]]></title><link>https://blog.youkuaiyun.com/dwshadsfdf/article/details/103624682</link><guid>https://blog.youkuaiyun.com/dwshadsfdf/article/details/103624682</guid><author>dwshadsfdf</author><pubDate>Thu, 19 Dec 2019 22:42:11 +0800</pubDate><description><![CDATA[一、cookie和session
1、什么是cookie？
cookie是指网站为了鉴别用户身份，进行会话跟踪而存储在客户端本地的数据。
2、什么是session？
本来的含义是指有始有终的一些列动作，而在web中，session对象用来在服务器存储特定用户会话所需要的属性及信息。
3、cookie和session产生的原因：
cookie和session他们不属于http协议范围，由于http协...]]></description><category></category></item><item><title><![CDATA[requests模块]]></title><link>https://blog.youkuaiyun.com/dwshadsfdf/article/details/103606723</link><guid>https://blog.youkuaiyun.com/dwshadsfdf/article/details/103606723</guid><author>dwshadsfdf</author><pubDate>Wed, 18 Dec 2019 23:25:44 +0800</pubDate><description><![CDATA[1、使用步骤：
#1.导包
import requests
#2、确定基础url
base_url = ‘https://www.baidu.com’
#3、发送请求，获取响应
response = requests.get(base_url)
#4、处理响应内容
2、requests.get()—get请求方法参数详解
（1）requests.get(
			url=请求url，
			head...]]></description><category></category></item><item><title><![CDATA[爬虫与数据]]></title><link>https://blog.youkuaiyun.com/dwshadsfdf/article/details/103586816</link><guid>https://blog.youkuaiyun.com/dwshadsfdf/article/details/103586816</guid><author>dwshadsfdf</author><pubDate>Tue, 17 Dec 2019 20:10:51 +0800</pubDate><description><![CDATA[一、爬虫的定义：程序或者脚本—》自动的爬取万维网的数据的程序或者脚本。
二、爬虫可以解决的问题：
（1）解决冷启动问题。
（2）搜索引擎的根基。—通用爬虫。
（3）帮助机器学习建立知识图谱。
（4）制作各种比价软件。
三、爬虫工程师的进阶之路：
初级爬虫工程师
1.web 前端的知识： HTML、CSS、JavaSc1ipt、 DOM、 DHTML 、Ajax、jQuery、json 等；
2、正...]]></description><category></category></item></channel></rss>