ZCC的专栏

一、爬虫的基本概念       二、聚焦网络爬虫架构    三、搜索引擎工作原理  四、网络爬虫的功能  五、网络爬虫小结

一、item的编写# -*- coding: utf-8 -*-# Define here the models for your scraped items## See documentation in:# http://doc.scrapy.org/en/latest/topics/items.htmlimport scrapyclass AutopjtItem(scr

一、适用条件   可以对有规律或者无规律的网站进行自动爬取 二、代码讲解  (1)创健scrapy项目E:myweb>scrapy startproject mycwpjtNew Scrapy project 'mycwpjt', using template directory 'd:\\python35\\lib\\site-packages\\s

一、Selenium简介Selenium是一个用于Web应用的功能自动化测试工具，Selenium 直接运行在浏览器中，就像真正的用户在操作一样。由于这个性质，Selenium也是一个强大的网络数据采集工具，其可以让浏览器自动加载页面，获取需要的数据，甚至页面截图，或者是判断网站上某些动作是否发生。Selenium自己不带浏览器，需要配合第三方浏览器来使用。支持的浏览器有Chrome、

一、普遍验证办法       群发消息应该算是微信上流传最广的找到删除好友的方法了。但群发消息不仅仅会把通讯录里面所有的好友骚扰一遍，而且你还得挨个删除好几百个聊天记录，回复大家的疑问和鄙视。作为一个互联网从业者，除了群发消息就不能有更高效、不打扰好友的方式么？二、写个脚本验证一下# coding=utf-8from __future__ import print_funct

一、模拟登陆import refrom selenium import webdriverfrom time import sleepfrom PIL import Image#定义QQ空间登录函数def QR_login(): def getGTK(cookie): """ 根据cookie得到GTK """ hashes = 5381

一、 环境   (1) windws 10   (2)  python.27   (3)  pycharm二、详细代码   (1)日志分析类 import loggingimport getpassimport sys#### 定义MyLog类class MyLog(object):#### 类MyLog的构造函数 def __init__(self

本节目标本节要实现的内容有：从一个大V用户开始，通过递归抓取粉丝列表和关注列表，实现知乎所有用户的详细信息的抓取。将抓取到的结果存储到MongoDB，并进行去重操作。思路分析我们都知道每个人都有关注列表和粉丝列表，尤其对于大V来说，粉丝和关注尤其更多。如果我们从一个大V开始，首先可以获取他的个人信息，然后我们获取他的粉丝列表和关注列表，然后遍历列表中的每一个

一、开发环境   (1)win10   (2)python 2.7   (3)pycharm二、保存数据到excel的类import xlwtclass SavaBallDate(object): def __init__(self, items): self.items = items self.run(self.item

主要用户你看到某个感兴趣的问题，需要回答者的图片，比如制作和收集表情包，还有其他用途你懂的!一、运行环境      (1) win7     (2) python 2.7    (3)  pycharm二、 主要代码#-*- coding:utf-8 -*-import reimport requestsimport osfrom urlparse impo

一、安装Selenium模块pip install selenium       Selenium 是一套完整的Web应用程序测试系统，包含了测试的录制、编写及运行和测试的并行处理。二、安装PhantomJS(官网下载：http://phantomjs.org/）        下载后放在python安装目录，和python.exe在一个文件夹下。Selenium和Phanto

一、运行环境     (1)win7     (2)python 2.7     (3)pycharm二、获取csdn发表的文章# coding:utf-8import urllib2, re, time, random, os, datetimeimport HTMLParserfrom bs4 import BeautifulSoupimport sysrelo

一、爬取知乎热门内容# -*- coding: utf-8-*-import urllib2import refrom BeautifulSoup import BeautifulSoupimport sysreload(sys)sys.setdefaultencoding('utf8')f = open('howtoTucao2.txt', 'w') # open the

一、创建Scrrapy项目scrapy startproject weather     二、 创建爬虫文件scrapy genspider wuhanSpider wuhan.tianqi.com    三、SCrapy项目各个文件   (1) items.pyimport scrapyclass WeatherItem(scrapy.Item): # de

一、运行环境   (1) win10   (2) python 2.7   (3) pycharm   (4) 安装依赖   pip install  PyCrypto 等 二、运行源程序# -*- coding: utf-8 -*-# @Time'''@Description:网易云音乐评论爬虫，可以完整爬取整个评论部分参考了@平胸小仙女的文章(地址:h

1.  项目环境               (1)  win7         (2)  python 3.5         (3)  pycharm2、项目流程分析3. 完整代码# -*- coding: utf-8 -*-import requestsimport reimport csvfrom requests.exc

Python 爬虫：把廖雪峰的教程转换成 PDF 电子书系统要求python3.4以上版本, 不支持python2.x准备工具requests、beautifulsoup 是爬虫两大神器，reuqests 用于网络请求，beautifusoup 用于操作 html 数据。有了这两把梭子，干起活来利索。scrapy 这样的爬虫框架我们就不用了，这样的小程序派上它有点杀鸡用牛刀的意思。此外，既然是把 h

最早是在优快云上写博客的，可是渐渐发现优快云写博客有诸多限制，而且优快云博客时不时会挂掉，因此后面用Hexo在github上搭了一个新博客，也就是现在这个。然而这样一来很多文章就留在优快云上，而在新博客上找不到了。因此前几天用Java写了一个爬虫，把优快云上的博客内容爬了下来，并解析成markdown格式存储在本地，这样就可以方便的迁移到新的博客了优快云博客迁移，把优快云

WechatSogou [1]– 微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫，返回结果是列表，每一项均是公众号具体信息字典。　　DouBanSpider [2]– 豆瓣读书爬虫。可以爬下豆瓣读书标签下的所有图书，按评分排名依次存储，存储到Excel中，可方便大家筛选搜罗，比如筛选评价人数>1000的高分书籍;可依据不同的主题存储到

一、爬行策略        深度优先爬行策略、广度优先爬行策略、大站优先策略、反链策略、OPIC策略、Pagerank策略。       二、网页分析算法      (1)基于用户行为的网页分析算法: 根据用户对网页的访问行为及其评价          (2)基于网络拓扑的网页分析算法: 结构关系         网页粒度的分析算法         网页

一、运行环境(1) BeautifulSoup的导入：pip install BeautifulSoup4(2) requests的导入：pip install requests(3) re的导入：pip install re(4) pandas的导入：pip install pandas二、完整代码   # 获取新闻的标题，内容，时间和评论数im

一、图片爬虫 (1)京东手机图片的抓取import reimport urllib.requestdef craw(url,page): html1=urllib.request.urlopen(url).read() html1=str(html1) pat1='' result1=re.compile(pat1).findall(html1)

一、python爬虫框架   一些爬虫项目的半成品二、常见python爬虫框架  (1)Scrapy:很强大的爬虫框架，可以满足简单的页面爬取（比如可以明确获知url pattern的情况）。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面，如weibo的页面信息，这个框架就满足不了需求了。  (2)Crawle

第一步：当然是安装python了，本人安装的是2.7.1版本第二步：按照官网的提示，我们先安装pywin3，依赖下面几个包:             1. 安装zope.interface             2. 安装pyopenssl             3.安装twisted第三步：安装lxml

所谓网络爬虫，就是一个在网上到处或定向抓取数据的程序，更专业的描述就是，抓取特定网站网页的HTML数据。  Python 开源的爬虫框架Scrapy是一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以 用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫

一、我们在进行字符串的处理时，希望按照自定义的规则进行处理，这些规则称为模式。可以用正则表达式描述这些规则，所以正则表达式也称为模式表达式。在python 中使用re 模块来实现正则表达式的功能。  二、正则表达式常见的原子        (1)普通字符:数字、大小写字母、下划线等        (2)非打印字符:格式控制符号，例如换行符 ----\n

一、微信爬虫import reimport urllib.requestimport timeimport urllib.error#代理服务器地址 http://yum.iqianyue.com/proxy#模拟成浏览器headers=("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KH

一、爬虫的定向爬取技术: 根据设置的主题，对要爬取的网址或者网页中的内容进行筛选。      二、爬虫的信息筛选方法         (1) 通过正则表达式筛选         (2)通过XPath表达式筛选 (Scapy经常使用)         (3)通过xslt 筛选     三、定向爬虫实战爬取评论内容import urllib.re

一、动态页面逆向分析爬取 (1)今日头条搜索界面如上: (2)页面分析获取Jason数据格式 http://www.toutiao.com/search_content/?offset=20&format=json&keyword=美女&autoload=true&count=20&cur_tab=1二、爬取完整代码块# coding=utf-8import jsonimport osimp

一、Scrapy介绍Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。所谓网络爬虫，就是一个在网上到处或定向抓取数据的程序，当然，这种说法不够专业，更专业的描述就是，抓取特定网站网页的HTML数据。抓取网页的一般方法是，定义一个入口页面，然后一般一个页面会有其他页面的URL，于是从当前页面获取到这些URL加

一、item编写  import scrapyclass GzweatherItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() # title = scrapy.Field() date = scrapy.Field() ma

一、所需要的库          (1)Scrapy          (2)pymysql二、 创建数据库和表    Create database hexun; Use hexun;Create table myhexun(id int(10) auto_increment primary key not null,name varchar(30),url

一、总体思路从网页代码里获得你要图片。这里我们需要简单的分析一下该网页。当我们把鼠标移到地址上的时候就会出现该图片，这个就是我们要爬取的图片。这个图片是在 data-original 后面，我们就需要进行匹配，通过正则表达式很快就可以达到目的。网页代码片段1img data-original="https://rpic.do

一、常见的反爬虫机制(1)通过分析用户请求的Headers信息 构造用户请求的Headers，即设置好"User-Agent""Referer"字段信息(2)检测用户行为:判断同一个ip在短时间内是否频繁访问对应的网站 使用代理服务器经常切换代理ip(3)通过动态页面增加爬虫爬取的难度用一些工具软件，如selenium+phantomJS

网络相关通用urllib - 网络库(标准库)requests - 网络库grab - 网络库(基于pycurl)pycurl - 网络库 (与libcurl绑定)urllib3 - 具有线程安全连接池、文件psot支持、高可用的Python HTTP库httplib2 - 网络库RoboBrowser - 一个无需独立浏览器即可访问网页的简单、pyth