测试Test

Scrapy 框架实践爬虫–实践篇二 在之前从网页解析出了我们想要的数据详情请看 Scrapy 框架实践爬虫–实践篇, 趁热打铁 , 接下来就是将数据储存在本地数据库中。 1.将数据转化为对象进行储存 前面提到过 , 在 Scrapy 中通过 pipeline 进行储存。当然现在还没有创建存储的类 , 所以在操作 pipeline 之前 , 先创建一个 item。 class Dscr...

selenium 模拟浏览器登录微博 selenium 是一个自动化测试工具 , 支持多种浏览器 , 可以用来做 web 页面的自动化测试。这次主要是来记录一下通过 python+selenium+chromeDriver 模拟浏览器登录新浪微博。 1.准备工作 python (本次使用的是 python3) selenium 库 chromeDriver chrome 浏览器 注...

scrapy 框架实践爬虫–思路篇 1. 写在最开始 最近接触了一下 scrapy 框架 , 决定试用这个框架写一个简单的爬虫。看标题就知道 , 这篇文章主要是了解 scrapy 框架并讲解下爬虫的大致思路 , 过程后续会再开博客进行讲解。 在写爬虫之前 , 需要知道一下 , 这个爬虫要做什么事情。简单来说就做了以下三件事: 1、爬取目标网页 2、从网页中提取所需数据 3、存放于...

Scrapy 框架实践爬虫–实践篇 前面已经对 scrapy 框架和思路进行了一个讲解。本篇文就来将理论进行实践。本爬虫的作用是通过主页爬取本站所有小说的简略信息 , 包括:小说名、作者、小说地址、状态、连载字数、文章类别、小说编号、收藏数、总点击数、总推荐数、最新更新日期。 代码地址附在文末 , 觉得有用请给我个 star 哟 本篇文中需要使用到的 python3 的库有: scrap...

关于 nmon nmon 是一款强大的检测后台服务器运行状态的工具, 在性能测试中我们常常使用 nmon 监控后台服务器运行状态。但是 nmon 生成的监控文件没办法直接阅读, 需要通过其他辅助工具来解析生成的文件。目前最好用的是宏。 关于宏 用过 nmon 的都知道, excel 宏是目前最好用的 nmon analyser工具, 能够将 nmon 结果文件解析成可读性较高的 exce...