kong050kong的博客

简要介绍：使用python3 环境，需要自己安装的包有 requests （网址请求，获取页面信息）和 Lxml（页面解析，信息提取） 。首先确定从何处获取 “IP”，本人此次爬取的是西刺网的免费IP代理。大概流程：请求有免费IP的网址（本次使用“http://www.xicidaili.com/nn/”） 获取网址的页面信息 从已经获得的页面信息中，提取有用的...

json序列化问题发现不用重写 json.JSONEncoder今天写爬虫处理 item 时使用ubuntu16.4，python3 ，scrapy 报出错误： TypeError: Object of type 'PangciItem' is not JSON serializable是 json序列化问题，然后自己在网上查，大部分的解决方法是自定义类并重写 js...

使用环境 Python3使用到的库requests，lxml，threading，queue，time需要额外安装的库requests ，lxml安装命令pip install requests lxml 开始爬虫工作流程:1. 构造 URL 列表2. 获取 URL 响应页面 3. 提取页面有用数据 4. 保存数据5. 清洗数据上代码import requ...

selenium登录豆瓣流程:1. 进入豆瓣登录页面2. 切换到**子框架**,定位**用户,密码**输入框. 并输入数据,再**定位登录**按键,点击登录.3. 返回登录成功后的cookies,4. 关闭驱动浏览器.遇到的问题:开始定位登录框总是失败. 程序报错==selenium.common.exceptions.NoSuchElementException: Messa...