Bingo

class="items"的标签div下包含有多个div标签，它们的class值都等于"item J_MouserOnverReq item-ad " 或 "item J_MouserOnverReq item-ad "，使用。都不能获取得class="items"的标签div下所有的div标签，那么如何获取呢？这时候可以使用功能函数。

日常学习工作中，我们多多少少都会遇到一些数据爬取的需求，比如说写论文时要收集相关课题下的论文列表，运营活动时收集用户评价，竞品分析时收集友商数据。当我们着手准备收集数据时，面对低效的复制黏贴工作，一般都会萌生一个想法：我要是会爬虫就好了，分分钟就把数据爬取下来了。可是当我们搜索相关教程时，往往会被高昂的学习成本所劝退。拿现在最通用的 python 爬虫来说，对于小白来说往往要跨过下面几座大山：学习一门编程语言：python 学习网页的基础构成——HTML标签和CSS选择器，有时候还要...

这是简易数据分析系列的第 18 篇文章。利用 web scraper 抓取数据的时候，大家一定会遇到一个问题：数据是乱序的。在之前的教程里，我建议大家利用 Excel 等工具对数据二次加工排序，但还是存在部分数据无法排序的情况。其实解决数据乱序的方法也有，那就是换一个数据库。web scraper 作为一个浏览器插件，数据默认保存在浏览器的localStorage数据库里。其实 web scraper 还支持外设数据库——CouchDB。只要切换成这个数据库，就可以在抓取过程中保证数据正序了..

这是简易数据分析系列的第 17 篇文章。学习了这么多课，我想大家已经发现了，web scraper 主要是用来爬取文本信息的。在爬取的过程中，我们经常会遇到一个问题：网页上的数据比较脏，我们只需要里面的一部分信息。比如说要抓取 电影的评价人数，网页中抓到的原始数据是1926853人评价，但是我们期望只抓取数字，把人评价这三个汉字丢掉。这种类似的操作在 Excel 可以利用公式等工具处理，其实在 web scraper 里，也有一个利器，那就是正则表达式。正则表达式是一个非常强大工具...

这是简易数据分析系列的第 16 篇文章。这期课程我们讲一个用的较少的 Web Scraper 功能——抓取属性信息。网页在展示信息的时候，除了我们看到的内容，其实还有很多隐藏的信息。我们拿豆瓣电影250举个例子：电影图片正常显示的时候是这个样子：如果网络异常，图片加载失败，就会显示图片的默认文案，这个文案其实就是这个图片的属性信息：我们查看一下这个结构的 HTML（查看方法可见CSS 选择器的使用的第一节内容），就会发现图片的默认文案其实就是这个<img/>标签...

这是简易数据分析系列的第 15 篇文章。年末事情比较忙，很久不更新了，后台一直有读者催更，我看了一些读者给我的私信，发现一些通用的问题，所以单独写篇文章，介绍一些 Web Scraper 的进阶用法。今天我们就来学习一些 CSS 选择器的知识，辅助 Web Scraper 更好的定位要选择的元素。一、定位 HTML 节点HTML 是什么？它是一个网页的骨架，是最最基础的东西。比如说你现在看的这篇文章，其实就是一个网页，每一行字都是 HTML 里的一个<p>标签。网页...

这是简易数据分析系列的第 14 篇文章。今天我们还来聊聊Web Scraper 翻页的技巧。这次的更新是受一位读者启发的，他当时想用 Web scraper 爬取一个分页器分页的网页，却发现我之前介绍的分页器翻页方法不管用。我研究了一下才发现我漏讲了一种很常见的翻页场景。在web scraper 翻页——分页器翻页的文章里，我们讲了如何利用Element Click选择器模拟鼠标点击分页器进行翻页，但是把同样的方法放在豆瓣 TOP 250上，翻页到第二页时抓取窗口就会自动退出，一条数据...

这是简易数据分析系列的第 13 篇文章。在前面的课程里，我们抓取的数据都是在同一个层级下的内容，探讨的问题主要是如何应对市面上的各种分页类型，但对于详情页内容数据如何抓取，却一直没有介绍。比如说我们想抓取 b 站的动画区 TOP 排行榜的数据：https://www.bilibili.com/ranking/all/1/0/3按之前的抓取逻辑，我们是把这个榜单上和作品有关的数据抓取一遍，比如说下图里的排名、作品名字、播放量、弹幕数和作者名。经常逛 B 站的小伙伴也知道，UP 主经常暗

这是简易数据分析系列的第 12 篇文章。前面几篇文章我们介绍了 Web Scraper 应对各种翻页的解决方法，比如说修改网页链接加载数据、点击“更多按钮“加载数据和下拉自动加载数据。今天我们说说一种更常见的翻页类型——分页器。本来想解释一下啥叫分页器，翻了一堆定义觉得很繁琐，大家也不是第一年上网了，看张图就知道了。我找了个功能最全的例子，支持数字页码调整，上一页下一页和指定页数跳转。今天我们就学学，Web Scraper 怎么对付这种类型的网页翻页。其实我们在本教程的第一个例子，抓取豆

这是简易数据分析系列的第 11 篇文章。今天我们讲讲如何抓取网页表格里的数据。首先我们分析一下，网页里的经典表格是怎么构成的。First Name所在的行比较特殊，是一个表格的表头，表示信息分类 2-5 行是表格的主体，展示分类内容经典表格就这些知识点，没了。下面我们写个简单的表格 Web Scraper 爬虫。1.制作 Sitemap我们今天的练手网站是http://www.huochepiao.com/search/chaxun/result.asp?txtChuFa=�Ϻ.

这是简易数据分析系列的第 10 篇文章。友情提示：这一篇文章的内容较多，信息量比较大，希望大家学习的时候多看几遍。我们在刷朋友圈刷微博的时候，总会强调一个『刷』字，因为看动态的时候，当把内容拉到屏幕末尾的时候，APP 就会自动加载下一页的数据，从体验上来看，数据会源源不断的加载出来，永远没有尽头。我们今天就是要讲讲，如何利用 Web Scraper 抓取滚动到底翻页的网页。今天我们的练手网站是知乎数据分析模块的精华帖，网址为：https://www.zhihu.com/topic/1

这是简易数据分析系列的第 9 篇文章。今天我们说说 Web Scraper 的一些小功能：自动控制 Web Scraper 抓取数量和 Web Scraper 的父子选择器。如何只抓取前 100 条数据？如果跟着上篇教程一步一步做下来，你会发现这个爬虫会一直运作，根本停不下来。网页有 1000 条数据，他就会抓取 1000 条，有 10W 条，就会抓取 10W 条。如果我们的需求很小，只想抓取前 200 条怎么办？如果你手动关闭抓取数据的网页，就会发现数据全部丢失，一条都没有保存下来，所以说

这是简易数据分析系列的第 8 篇文章。我们在Web Scraper 翻页——控制链接批量抓取数据一文中，介绍了控制网页链接批量抓取数据的办法。但是你在预览一些网站时，会发现随着网页的下拉，你需要点击类似于「加载更多」的按钮去获取数据，而网页链接一直没有变化。所以控制链接批量抓去数据的方案失效了，所以我们需要模拟点击「加载更多」按钮，去抓取更多的数据。今天我们讲的，就是利用 web scraper 里的Element click模拟点击「加载更多」，去加载更多的数据。这次的练习网站..

这是简易数据分析系列的第 7 篇文章。在第 4 篇文章里，我讲解了如何抓取单个网页里的单类信息；在第 5 篇文章里，我讲解了如何抓取多个网页里的单类信息；今天我们要讲的是，如何抓取多个网页里的多类信息。这次的抓取是在简易数据分析 05的基础上进行的，所以我们一开始就解决了抓取多个网页的问题，下面全力解决如何抓取多类信息就可以了。我们在实操前先把逻辑理清：上几篇只抓取了一类元素：电影名字。这期我们要抓取多类元素：排名，电影名，评分和一句话影评。根据 Web Scraper

这是简易数据分析系列的第 6 篇文章。上两期我们学习了如何通过 Web Scraper 批量抓取豆瓣电影 TOP250 的数据，内容都太干了，今天我们说些轻松的，讲讲 Web Scraper 如何导出导入 Sitemap 文件。前面也没有说，SItemap 是个什么东西，其实它就是我们操作 Web Scraper 后生成的爬虫文件，相当于 python 爬虫的源代码，导入 Web Scraper 一运行就可以爬取数据。学习了这一章节，就可以分享我们的设置好的爬虫文件了。导出 Sitemap导

这是简易数据分析系列的第 5 篇文章。上篇文章我们爬取了豆瓣电影 TOP250 前 25 个电影的数据，今天我们就要在原来的 Web Scraper 配置上做一些小改动，让爬虫把 250 条电影数据全部爬取下来。前面我们同时说了，爬虫的本质就是找规律，当初这些程序员设计网页时，肯定会依循一些规则，当我们找到规律时，就可以预测他们的行为，达到我们的目的。今天我们就找找豆瓣网站的规律，想办法抓取全部数据。今天的规律就从常常被人忽略的网址链接开始。1.链接分析我们先看看第一页的豆瓣网址链.

这是简易数据分析系列的第 4 篇文章。今天我们开始数据抓取的第一课，完成我们的第一个爬虫。因为是刚刚开始，操作我会讲的非常详细，可能会有些啰嗦，希望各位不要嫌弃啊：）有人之前可能学过一些爬虫知识，总觉得这是个复杂的东西，什么 HTTP、HTML、IP 池，在这里我们都不考虑这些东西。一是小的数据量根本不需要考虑，二是这些乱七八糟的东西根本没有说到爬虫的本质。爬虫的本质是什么？其实就是找规律。而且爬虫的找规律难度，大部分都是小学三年级的数学题水平。我们下面拿个例子说明一下，下图历史文章

这是简易数据分析系列的第 3 篇文章。上文我们安装了 Web Scraper 插件，我相信对于大部分人来说还是很简单的，这篇文章我们说些不一样的内容，讲讲浏览器里那些不被大多数人所知的骚操作。作为普通的使用者，大家用浏览器就是查阅信息，浏览网页。但在开发者的眼里，Chrome 浏览器提供了非常强大的开发能力。通过这篇文章的学习，大家可以掌握一些浏览器开发的小知识(相信我，一点儿都不难)，方便我们 Web Scraper 插件的后续学习。下面开始正文。1 开启开发者后台这个功能我其实在旧文

这是简易数据分析系列的第 2 篇文章。上篇说了数据分析在生活中的重要性，从这篇开始，我们就要进入分析的实战内容了。数据分析数据分析，没有数据怎么分析？所以我们首先要学会采集数据。我调研了很多采集数据的软件，综合评定下来发现最好用的还是Web Scraper，这是一款Chrome 浏览器插件。推荐的理由...

这是简易数据分析系列的第 1 篇文章。为什么叫简易数据分析？第 1 个原因是本教程面向纯小白用户，不写代码不写公式，迈出数据分析的第一步。第 2 个原因是生活中很多的数据分析场合，都是很轻量的，不需要上 Python 爬虫、高并发架构，机器学习等重武器，一个浏览器再加一个 Excel 就足够了：比如说某门课程论文交稿只有几天了，急需快速爬取数据进行数据分析，这时候临阵磨枪学习 Python 爬虫知识时间完全不够；做一些市场调研和运营工作需要对数据进行采集，让技术部门支持的话，走流程的周