爬虫与PYTHON
关注
分享
扫一扫
文章平均质量分 68
songbob
这个作者很懒，什么都没留下…
展开
-
一个简单的异步爬取信息
■写在前头：在作有异步加载页的爬虫，要理解其原理。带AJAX页因为一次获取不到，所以要想办法摸拟出效果，得到返回数据，再分析，最终才能得到想要的结果。■所需import 包import requestsfrom lxml import etree# -*- coding: utf-8 -*-import scrapyimport requestsfrom lxml i原创 2017-09-04 14:47:43 · 1445 阅读 · 1 评论 -
pycharm 快捷键（自己常用）
http://blog.youkuaiyun.com/pipisorry/article/details/39909057原创 2017-09-05 11:02:39 · 328 阅读 · 0 评论 -
eclipse下python安装scrapy以及切换python版本、GIT配置
写在前头：关到python的安装，本文不写。网上的方法一堆，也没有什么难点。这里主要记录一下有关在windows下scrapy的安装以及安装过程中碰到的问题以及解决办法。GIT 安装与使用http://www.cnblogs.com/lovychen/p/5644700.html原创 2017-08-30 15:52:59 · 1705 阅读 · 0 评论 -
爬虫用到的一些包（不定时更新）
■win32api说明：64位机上运行32位时所用到的包安装方法：pip install win32api■requests 说明：用于异步取得页面内容安装方法：pip install requests原创 2017-09-04 11:30:04 · 1484 阅读 · 0 评论 -
爬取对象的解析
问题描述：最近爬取的对象，会取得一个标签下的大量的text，而想要的结果却在text其中一部分，这样就需要对text再进行解析。以取AMZ站的商品图片为例：1 其图片信息不写在DIV中，即便你点击预览，也不会有异步的后台调用。图片的内容装入DIV是依赖于JS实现的。而JS是在初使化时就加载好。这样减少后台的压力。这样，就需要对JS的内容进行解析，其内容如下：2 首先，可原创 2017-09-07 10:21:39 · 333 阅读 · 0 评论