python实战
关注
分享
扫一扫
hoochon
这个作者很懒，什么都没留下…
展开
-
python爬虫实战-爬取笑话大全并保存至本地（xpath）
python爬虫实战-爬取笑话大全并保存至本地（xpath）import urllib.parseimport urllib.requestfrom lxml import etreeimport timeimport jsonitem_list=[]def handle_request(url,page): headers={ 'User-Agent':'Mozilla/5...原创 2019-02-23 15:53:41 · 1311 阅读 · 0 评论 -
python爬虫实战-爬取视频网站下载视频至本地(selenium)
#python爬虫实战-爬取视频网站下载视频至本地(selenium)import requestsfrom lxml import etreeimport jsonfrom selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsimport timeheaders={ 'Use...原创 2019-02-25 15:45:47 · 20893 阅读 · 1 评论 -
python爬虫实战-多线程实例-解析文章标题及内容
python爬虫实战-多线程实例-解析文章标题及内容import timeimport threadingfrom queue import Queueimport requestsfrom lxml import etreeimport jsonimport os#用来存放采集线程g_crawl_list=[]#用来存放解析线程g_parser_list=[]clas...原创 2019-02-25 15:45:36 · 530 阅读 · 0 评论 -
python爬虫实战-模拟登陆网站(验证码手工输入)
python爬虫实战-模拟登陆网站(验证码手工输入)需求：python模拟登陆网站，（验证码手工输入）import requestsfrom bs4 import BeautifulSoupimport urllib.requestheaders={ 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKi...原创 2019-02-25 15:44:48 · 2125 阅读 · 0 评论 -
python爬虫实战-爬取城市每条公交详细信息并保存至本地（方法、xpath）
python爬虫实战-爬取城市每条公交详细信息并保存至本地（方法、xpath）需求：通过8684城市公交列表url，爬取所有路线的详细信息及站点名称import requestsfrom lxml import etreeimport timeclass GongJiao(object): """docstring for GongJiao""" headers={ 'Use..原创 2019-02-25 15:44:35 · 2196 阅读 · 0 评论 -
python爬虫实战-爬取岗位招聘信息并保存至本地（方法、jsonpath）
python爬虫实战-爬取招聘网岗位信息并保存至本地（类、jsonpath）import urllib.requestimport urllib.parseimport jsonimport jsonpathimport time# json接口：# 第一页https://fe-api.zhaopin.com/c/i/sou?kt=3&pageSize=90&cit...原创 2019-02-23 16:57:13 · 1276 阅读 · 0 评论 -
python爬虫实战-爬取美女图片并保存至本地文件夹（xpath）
python爬虫实战-爬取美女图片并保存至本地文件夹（xpath）import urllib.parseimport urllib.requestfrom lxml import etreeimport timeimport os# 首页：http://sc.chinaz.com/tupian/xingganmeinvtupian.html# 分页后：http://sc.china...原创 2019-02-23 16:09:29 · 1890 阅读 · 0 评论 -
python爬虫实战-爬取糗图图片并保存至本地文件夹（正则）
python爬虫实战-爬取糗图图片并保存至本地文件夹（正则）import urllib.requestimport urllib.parseimport reimport osimport timedef handle_request(url,page): url=url+str(page)+'/' headers={ 'User-Agent':'Mozilla/5.0 (W...原创 2019-02-23 16:04:12 · 694 阅读 · 0 评论 -
python爬虫实战-爬取岗位招聘信息并保存至本地（方法、bs4）
python爬虫实战-爬取岗位招聘信息并保存至本地（bs4）from bs4 import BeautifulSoupimport urllib.requestimport urllib.parseimport jsonimport timeclass ZhiLianSpider(object): """docstring for ZhiLianSpider""&原创 2019-02-23 15:50:29 · 1438 阅读 · 2 评论 -
python爬虫实战-爬取励志名言并保存至本地（正则）
python爬虫实战-爬取励志名言并保存至本地（正则）import urllib.parseimport urllib.requestimport redef handle_request(url,page=None): if page !=None: url=url+str(page)+'.html' headers={ 'User-Agent':'Mozilla/5.0 ...原创 2019-02-23 15:46:21 · 838 阅读 · 0 评论 -
python爬虫实战-贴吧内容下载保存至本地
python爬虫实战需求：输入吧名，输入起止页码，创建一个文件夹，存储吧名_page.html文件import urllib.parseimport urllib.requestimport os# 需求：输入吧名，输入起止页码，创建一个文件夹，存储吧名_page.html文件# http://tieba.baidu.com/f?ie=utf-8&kw=python&amp...原创 2019-02-23 15:10:11 · 276 阅读 · 0 评论 -
python爬虫实战-爬取豆瓣电影分类排行榜(ajax-get)
豆瓣电影分类排行榜import urllib.parseimport urllib.request# https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&start=60&limit=20url='https://movie.douban.com/j/c...原创 2019-02-23 14:56:48 · 2623 阅读 · 2 评论 -
python爬虫实战-爬附近肯德基信息(ajax-post)
import urllib.requestimport urllib.parsepost_url='http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname'city=input('请输入你要查询的城市：')page=int(input('请输入你要查询第几页：'))size=int(input('请输入你要查询的个数：'...原创 2019-02-23 15:01:37 · 733 阅读 · 0 评论