<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[weixin_42657103的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/weixin_42657103</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; weixin_42657103]]></copyright><item><title><![CDATA[node.js 安装以及基础应用]]></title><link>https://blog.youkuaiyun.com/weixin_42657103/article/details/82192364</link><guid>https://blog.youkuaiyun.com/weixin_42657103/article/details/82192364</guid><author>weixin_42657103</author><pubDate>Wed, 29 Aug 2018 21:43:39 +0800</pubDate><description><![CDATA[ Node.js  简单来说，就是运行在服务端的 JavaScript。它是一个基于Chrome JavaScript 运行时建立的一个平台。Node.js是一个事件驱动I/O服务端JavaScript环境，基于Google的V8引擎，V8引擎执行Javascript的速度非常快，性能非常好。

接下来就简单介绍一下 node.js 的安装步骤（菜鸟教程 ：http://www.runoob.co...]]></description><category></category></item><item><title><![CDATA[scrapy-redis 实操应用----以4k风景为例]]></title><link>https://blog.youkuaiyun.com/weixin_42657103/article/details/81712770</link><guid>https://blog.youkuaiyun.com/weixin_42657103/article/details/81712770</guid><author>weixin_42657103</author><pubDate>Wed, 15 Aug 2018 23:09:03 +0800</pubDate><description><![CDATA[首先，在终端打开redis数据库！

第一种（单机爬虫）创建命令：scrapy genspider -t crawl bizhi netbian.com


import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule


class BizhiS...]]></description><category></category></item><item><title><![CDATA[scrapy-redis下载及项目讲解]]></title><link>https://blog.youkuaiyun.com/weixin_42657103/article/details/81710214</link><guid>https://blog.youkuaiyun.com/weixin_42657103/article/details/81710214</guid><author>weixin_42657103</author><pubDate>Wed, 15 Aug 2018 22:09:07 +0800</pubDate><description><![CDATA[首先，如果没有下载git，执行后续命令时，可能会报错。

下载地址：https://git-scm.com/downloads



安装很简单，一直进行下一步即可（个别选项依照个人需求更改）

空白处鼠标右击，点击 Git Bash Here 出现窗口，输入命令：git --version 即可查看当前下载的git版本（效果如下）



接下来就来下载 scrapy-redis项目

下载地址：...]]></description><category></category></item><item><title><![CDATA[邮件发送---以163/qq邮箱为例]]></title><link>https://blog.youkuaiyun.com/weixin_42657103/article/details/81667531</link><guid>https://blog.youkuaiyun.com/weixin_42657103/article/details/81667531</guid><author>weixin_42657103</author><pubDate>Tue, 14 Aug 2018 15:46:55 +0800</pubDate><description><![CDATA[首先，登陆163邮箱，然后进入设置界面，进行如下操作：



之后，开启授权码（千万要记住授权码！！！）



 qq邮箱，则是打开设置，进入账户界面，将下图位置选项开启（按照系统提示进行操作即可）：



 接下来就开始进行邮件发送的基本操作。

首先，设置邮箱的域名、邮件标题、发件人、收件人邮箱，以及邮件信息（如下）：


import smtplib
# 因为需要使用这个模块，所以当前py文...]]></description><category></category></item><item><title><![CDATA[分布式爬虫、redis介绍及安装]]></title><link>https://blog.youkuaiyun.com/weixin_42657103/article/details/81663157</link><guid>https://blog.youkuaiyun.com/weixin_42657103/article/details/81663157</guid><author>weixin_42657103</author><pubDate>Tue, 14 Aug 2018 12:13:52 +0800</pubDate><description><![CDATA[ 

目录

分布式爬虫

redis数据库的特点

redis及可视化工具安装 

分布式爬虫

1.什么是分布式爬虫？
  默认情况下 scrapy 爬虫是淡季爬虫，只能在一台电脑上运行，因为爬虫调度器当中的队列queue去重和set集合都是在本机上创建的，其他电脑无法访问另一台电脑上的内存的内容
2.分布式爬虫用一个共同的爬虫程序 同时部署到多台电脑上运行， 这样可以提高爬虫速度，实现分布式...]]></description><category></category></item><item><title><![CDATA[scrapy 抓取动态数据---以淘宝为例]]></title><link>https://blog.youkuaiyun.com/weixin_42657103/article/details/81636707</link><guid>https://blog.youkuaiyun.com/weixin_42657103/article/details/81636707</guid><author>weixin_42657103</author><pubDate>Mon, 13 Aug 2018 20:53:05 +0800</pubDate><description><![CDATA[1.首先，确保安装了ptantomjs，如没有安装，安装教程链接为：https://blog.youkuaiyun.com/weixin_42657103/article/details/81543113

安装完成后，创建爬虫项目，然后进入middleware.py 中，进行如下操作：


from scrapy import signals

from selenium import webdriver
...]]></description><category></category></item><item><title><![CDATA[scrapy 自定义管道保存图片、json、csv文件格式以及MySQL]]></title><link>https://blog.youkuaiyun.com/weixin_42657103/article/details/81635514</link><guid>https://blog.youkuaiyun.com/weixin_42657103/article/details/81635514</guid><author>weixin_42657103</author><pubDate>Mon, 13 Aug 2018 20:06:31 +0800</pubDate><description><![CDATA[在上一篇博客中，简单的介绍了系统自带的管道保存方法，今天来讲一下如何用自定义的管道来保存文件以及图片。

1.保存图片：

开始的步骤，保持不变，成功获取数据后，进入到pipeline.py里面，引入 from scrapy.pipelines.images import ImagesPipeline, 并且继承 ImagesPipeline （如下图）：


import scrapy
# Im...]]></description><category></category></item><item><title><![CDATA[phantomjs 安装教程]]></title><link>https://blog.youkuaiyun.com/weixin_42657103/article/details/81543113</link><guid>https://blog.youkuaiyun.com/weixin_42657103/article/details/81543113</guid><author>weixin_42657103</author><pubDate>Thu, 09 Aug 2018 20:30:05 +0800</pubDate><description><![CDATA[    PhantomJS是一个基于webkit的JavaScript API。它使用QtWebKit作为它核心浏览器的功能，使用webkit来编译解释执行JavaScript代码。任何你可以在基于webkit浏览器做的事情，它都能做到。它不仅是个隐形的浏览器，提供了诸如CSS选择器、支持Web标准、DOM操作、JSON、HTML5、Canvas、SVG等，同时也提供了处理文件I/O的操作，从而使...]]></description><category></category></item><item><title><![CDATA[mySQL 安装教程]]></title><link>https://blog.youkuaiyun.com/weixin_42657103/article/details/81516566</link><guid>https://blog.youkuaiyun.com/weixin_42657103/article/details/81516566</guid><author>weixin_42657103</author><pubDate>Wed, 08 Aug 2018 23:02:09 +0800</pubDate><description><![CDATA[    首先下载mySQL数据库安装包,下载地址：https://dev.mysql.com/downloads/windows/installer/8.0.html



1.下载好后，点击运行，出现如下界面，勾选标记1，然后点击进行下一步操作：



2.点击Next后，按照下图顺序进行操作：



3.照上图操作后，进入下一页，选择第一条内容后，点击下一步：



4.界面会变成下图，直接点...]]></description><category></category></item><item><title><![CDATA[scrapy 图片下载管道以及文件下载管道]]></title><link>https://blog.youkuaiyun.com/weixin_42657103/article/details/81413018</link><guid>https://blog.youkuaiyun.com/weixin_42657103/article/details/81413018</guid><author>weixin_42657103</author><pubDate>Sat, 04 Aug 2018 17:20:16 +0800</pubDate><description><![CDATA[1.图片下载管道：

获取指定的图片链接：


imgSrc = ul.xpath('.//img/@src2').extract()[0]

item['imgSrc'] = [imgSrc]

yield item

进入settings.py 里面，进行如下操作 ：


ITEM_PIPELINES = {
   # 'imageNet.pipelines.ImagenetPipeline'...]]></description><category></category></item><item><title><![CDATA[scrapy爬虫的常用小命令]]></title><link>https://blog.youkuaiyun.com/weixin_42657103/article/details/81412879</link><guid>https://blog.youkuaiyun.com/weixin_42657103/article/details/81412879</guid><author>weixin_42657103</author><pubDate>Sat, 04 Aug 2018 17:09:18 +0800</pubDate><description><![CDATA[1.创建项目：scrapy startproject baidu

2.生成爬虫文件：scrapy genspider baiduSpider baidu.com

3.运行命令：运行命令：scrapy crawl baiduSpider

4.保存文件的指定类型：scrapy crawl baiduSpider -o bai.xml(json/csv)



5.json格式解码：scrapy ...]]></description><category></category></item><item><title><![CDATA[scrapy使用教程]]></title><link>https://blog.youkuaiyun.com/weixin_42657103/article/details/81412393</link><guid>https://blog.youkuaiyun.com/weixin_42657103/article/details/81412393</guid><author>weixin_42657103</author><pubDate>Sat, 04 Aug 2018 16:47:33 +0800</pubDate><description><![CDATA[1.首先找到一个指定的路径,比如桌面，cd过去



2.在终端输入创建项目的命令：scrapy startproject baidu



3.如图所示，则创建成功，然后输入提示的命令：cd baidu 

4.在指定目录，则会生成一下文件：



其中：

spiders：以后所有创建的爬虫文件都会放在此文件夹下；

__init__.py：初始化文件；

items.py：存放数据模型；

...]]></description><category></category></item><item><title><![CDATA[爬虫--获取文本并拼接的几种方法]]></title><link>https://blog.youkuaiyun.com/weixin_42657103/article/details/81411805</link><guid>https://blog.youkuaiyun.com/weixin_42657103/article/details/81411805</guid><author>weixin_42657103</author><pubDate>Sat, 04 Aug 2018 16:19:22 +0800</pubDate><description><![CDATA[以爬 小说吧 为例


import scrapy
import re

class QingrenSpider(scrapy.Spider):
    name = 'qingren'
    allowed_domains = ['tieba.baidu.com']
    start_urls = ['https://tieba.baidu.com/p/5820130343']
    f ...]]></description><category></category></item><item><title><![CDATA[线程锁、线程队列、yield]]></title><link>https://blog.youkuaiyun.com/weixin_42657103/article/details/81349806</link><guid>https://blog.youkuaiyun.com/weixin_42657103/article/details/81349806</guid><author>weixin_42657103</author><pubDate>Wed, 01 Aug 2018 23:05:04 +0800</pubDate><description><![CDATA[1.  线程锁：当有一个数据有多个线程对其进行修改的时候，任意个线程改变它都会对其他线程造成影响。如果想在某一个线程使用完之前，其他线程不能对其进行修改，就需要对这个线程加一个线程锁。


import threading
import time
import random

count = 0
def get_money(money):
    global count
    count +=...]]></description><category></category></item><item><title><![CDATA[线程]]></title><link>https://blog.youkuaiyun.com/weixin_42657103/article/details/81349465</link><guid>https://blog.youkuaiyun.com/weixin_42657103/article/details/81349465</guid><author>weixin_42657103</author><pubDate>Wed, 01 Aug 2018 22:56:09 +0800</pubDate><description><![CDATA[    线程分为主线程和分线程：代码运行默认在主线程里面，如果需要执行新的任务，可以开辟新线程；

分线程没有个数限制，分线程里面的任务结束以后，分线程结束。

分线程的使用场景：

1.当有大量任务需要执行的时候，可以将任务放入到分线程里面；

2.当有大量任务需要执行的时候，而任务的执行顺序需要指定时，可以使用分线程；

3.当界面有大量的UI需要更新的时候，需要放入到分线程里面。


imp...]]></description><category></category></item><item><title><![CDATA[scrapy安装教程]]></title><link>https://blog.youkuaiyun.com/weixin_42657103/article/details/81347884</link><guid>https://blog.youkuaiyun.com/weixin_42657103/article/details/81347884</guid><author>weixin_42657103</author><pubDate>Wed, 01 Aug 2018 21:20:28 +0800</pubDate><description><![CDATA[今天介绍两种Scrapy 的安装方式，说明一下Python3x环境下的安装过程。

1.pip安装方式：用cmd打开Windows的命令执行窗口，输入 ：pip install scrapy 

   命令安装提示：Microsoft Visual C++ 14.0 is required. Get it with &quot;Microsoft Visual C++ Build Tools&quot;

   于是...]]></description><category></category></item><item><title><![CDATA[selenium下 按键操作、时间等待、点击事件基本操作]]></title><link>https://blog.youkuaiyun.com/weixin_42657103/article/details/81322143</link><guid>https://blog.youkuaiyun.com/weixin_42657103/article/details/81322143</guid><author>weixin_42657103</author><pubDate>Tue, 31 Jul 2018 22:54:18 +0800</pubDate><description><![CDATA[1.按键操作


from selenium.webdriver.common.keys import Keys
from selenium import webdriver
import time

driver = webdriver.Firefox()
driver.get('http://www.baidu.com')
time.sleep(3)
# 找到输入框 并且输入指定内容
driv...]]></description><category></category></item><item><title><![CDATA[正则、xpath、bs4三者区别]]></title><link>https://blog.youkuaiyun.com/weixin_42657103/article/details/81321713</link><guid>https://blog.youkuaiyun.com/weixin_42657103/article/details/81321713</guid><author>weixin_42657103</author><pubDate>Tue, 31 Jul 2018 22:18:14 +0800</pubDate><description><![CDATA[本篇以 获取美食杰菜谱图片 为例，分别采用正则、xpath、bs4 三种方式，获取同一内容，进行对比，分析三者区别。


url = 'https://www.meishij.net/chufang/diy/guowaicaipu1/japan/'

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:...]]></description><category></category></item><item><title><![CDATA[requests请求]]></title><link>https://blog.youkuaiyun.com/weixin_42657103/article/details/81321513</link><guid>https://blog.youkuaiyun.com/weixin_42657103/article/details/81321513</guid><author>weixin_42657103</author><pubDate>Tue, 31 Jul 2018 22:04:23 +0800</pubDate><description><![CDATA[requests 是对 urlopen 的封装

常用方法如下：import requests


url = 'http://www.baidu.com'
# get和pose请求
response = requests.get(url)
# 请求成功
print(response)
# 获取网页文本内容
print(response.text)
# reason 原因
# 请求状态的说明
pr...]]></description><category></category></item><item><title><![CDATA[正则、xpath、bs4 的基本用法]]></title><link>https://blog.youkuaiyun.com/weixin_42657103/article/details/81320965</link><guid>https://blog.youkuaiyun.com/weixin_42657103/article/details/81320965</guid><author>weixin_42657103</author><pubDate>Tue, 31 Jul 2018 21:56:54 +0800</pubDate><description><![CDATA[数据匹配的三种方法：正则、xpath、bs4

1.正则 ：import re

正则表达式可以判断目标字符串是否符合特定要求，比如手机号、身份证号、邮箱号等。

常用的标记如下：


# digit
\d ：表示任意的一位数字
\d\d:表示任意的两位数字
# word
\w：表示任意的一个字母和数字
# space
\s：表示 空格

. :表示任意的内容  123 a,b,c,!@# 不单独...]]></description><category></category></item></channel></rss>