python爬虫
关注
分享
扫一扫
xuejinliang
这个作者很懒，什么都没留下…
展开
-
利用cookie爬取页面
在登录网站的过程中，有的网页只有通过登录之后，才能显示出来。并且有的网页登录和不登录是不一样的。如果通过爬虫抓取的话，可以通过先登录一次然后通过cookie来进行登录。测试网页为麦子学校的登录页面#!/usr/bin/env python#coding=utf-8import urllibimport urllib2import cookielibfrom bs4原创 2017-03-29 15:13:50 · 2723 阅读 · 0 评论 -
Python 爬虫实现简单例子（爬取某个页面）
Python爬虫最简单实现#!/usr/bin/env python#coding=utf-8import urllibimport urllib2def login(): url = 'https://www.oschina.net/action/user/hash_login' values= {'userMail':'123@qq.com','use原创 2017-03-29 16:59:08 · 6145 阅读 · 0 评论 -
python 爬取糗百
Python爬虫爬取糗百1、构造请求，查看爬取的URL，因为糗百的内容有可能有多页，并且内容很多，所以在爬取的时候选择只爬取文正的ID以及内容2、构造爬取过程中的正则表达式，筛选出所需内容（根据网页源代码）3、对爬取内容进行输出展示#!/usr/bin/env python#coding=utf-8import urllib2import urllibimpor原创 2017-03-31 15:34:02 · 734 阅读 · 0 评论