paleyellow的博客

实例：中国大学排名 html = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html' 功能说明 输入：url 输出：大学排名信息的屏幕输出（排名，大学名称，总分） 基数路线：requests-bs4 定向爬虫：仅对当前url进行爬取，不扩展爬取 程序的结构设计 获取网页内容 提取数据结构 展示数据结果   getH...

Scrapy第一个实例 演示HTML地址   http://python123.io/ws/demo.html 产生步骤：   步骤1：建立爬虫工厂   scrapy startproject python123demo 生成的工程目录 python123demo/ → 外层目录 scrapy.cfg → 部署Scrapy爬虫的配置文件 pyth...

Scrapy的常用命令 Scrapy是为持续运行设计的专用爬虫框架，提供操作的Scrapy命令行 Scrapy命令行格式 >scrapy<command>[options][args] command:Scrapy命令 Scrapy常用命令 startproject 说明：创建一个新工程 格式：scrapy startproject <name>[di...

例 股票数据定向爬虫 功能描述 目标：获取上交所和深交所所有股票的名称和交易信息 价格等 输出：保存到文件中 技术路线：requests-bs4-re 候选网站 http://finance.sina.com.cn/stock/ https://gupiao.baidu.com/stock/ quote.eastmoney.com/stocklist.html/ 选...

Scrapy 功能强大的网络爬虫框架   pip install scrapy 爬虫框架 爬虫框架是实现爬虫功能的一个软件结构和功能组件集合 爬虫框架是一个半成品，能够帮助用户实现专业网络爬虫 Scrapy爬虫结构--“5+2”结构 ENGINE SPIDERS SCHEDULER ITEM PIPELINES DOWNLOADER MIDDLEWARE（ENGINE&...

re库的match对象 match = re.search(r'[1-9]\d{5}','BIT 100081') if match: print (match.group(0)) type(match) # <class '_sre.SRE_Match'> Match对象的属性 .string 待匹配的额文本 .re 匹配时使用的pattern对象（正则表达式） ...

淘宝商品比价定向爬虫 功能描述 目标：获取淘宝索索页面的信息，提取其中的商品名称和价格 理解：淘宝的搜索接口、翻页的处理 技术路线：request-re   https://s.taobao.com/search?q=书包   程序的结构设计 提交商品搜索请求，循环获取页面。 对于每个页面，提取商品名称和价格信息。 将信息输出到屏幕上。   import reque...

正则表达式 Re库 Re库是Python的标准库 import re   表示类型 raw string类型（原生字符串类型） r'text' 例如： r'[1-9]\d{5}' r'\d{3}-\d{8}|\d{4}-\d{7}' #国内电话号码 raw string 是不包含转义符的字符串 string类型，更繁琐，需要转义符 当正则表达式包含转义符时，使用ra...

正则表达式 regular expression regex RE 优势-简洁 例1： 'py' 'pyy' 'pyyy' 正则表达式 py+ 例2 'pyabc' 'pykxyz' 正则表达式：py[^py]{0,10}   正则表达式 通用的字符串表达框架 简洁表达一组字符串的表达式 针对字符串表达“简洁”和“特征”思想的工具 判断某字符串的特征归属 应用：主要在...

Beautiful Soup（美味汤）库 可以进行任何格式的爬取并进行树形解析 安装 pip3 install beautifulsoup4 演示地址 python123.io/ws/demo.html 语法 from bs4 import BeautifulSoup soup = BeautifulSoup('<p>data</p&g

信息提取的一般方法 方法一：完整解析信息的标记形式，再提取关键信息。 XML JSON YAML 需要标记解析器 例如：bs4库的标签树遍历 有点：信息解析准确 缺点：提取过程繁琐，慢 方法二：无视标记形式，直接搜索关键信息 搜索 对信息的文本查找函数即可。 优点：提取过程简洁，速度较快。 切刀吗“同期信息准确性与信息内容相关。 融合方法：结合形式解析与搜...

遍历方法 标签树的下行遍历 .contents 子节点的列表 .children 子节点的迭代类型 .descendants 子孙节点的迭代类型   samples: soup = BeautifulSoup(demo, "html.parser") soup.head soup.head.contents soup.body.contents len(soup.body.conte...

信息的标记 标记后的信息科形成信息组织结构，增加了信息维度 标记后的信息可用于通信、存储或展示 标记的结构与信息一样具有重要价值 标记后的信息更利于程序理解和运用   HTML的信息标记 hyper text markup languageHTML是WWW(World Wide Web)的信息组织方式  超文本：声音、图像、信息、文本 通过预定义的<>...</&gt...

实例1：京东商品爬取 import requests url = "https://item.jd.com/3739097.html" try: r = requests.get(url) r.raise_for_status() r.encoding = r.apparent_encoding pring(r.text[:1000]) except: p...

Beautiful Soup库的基本元素 解析、遍历、维护标签树的功能库 <p>..</p>：标签Tag p为Name class="title"为属性，属性为键值对构成 Beautiful Soup库的引用 from bs4 import BeatifulSoup import bs4 HTML文档、标签树、BeautifulSoup类等价 from b...

网络爬虫的（按）尺寸（划分） 爬取网页，玩转网页，小规模，爬取速度不敏感，Requests库 爬取网站，系列网站，中规模，爬取速度敏感，Scrapy库 爬取全网，大规模，搜索引擎，爬取速度关键，定制开发 网络爬虫可能引发的问题 网络爬虫的“骚扰” 受限于编写水平和目的，网络爬虫将会为web服务器带来巨大的资源开销。 网络爬虫的法律风险 服务器上的数据有产权归...

Requests包 import requests Requests库的7个主要方法 requests.request() requests.get() requests.head() requests.post() requests.put() requests.patch() requests.delete() 返回异常类 requests.ConnectionError ...