海边看花开的博客

登录人人网获取cookie，粘贴出来就可以 废话不多说具体代码如下 from urllib import request url ="http://www.renren.com/967952300/profile" headers ={"User-Agent":"Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTM...

使用requests和re模块抓取糗事百科 # -*- coding:utf-8 -*- import requests import re class Qiushi_Spider(object): def __init__(self): self.url = "https://www.qiushibaike.com/text/page/{}/" self...

正则表达式爬取古诗文 # -*- coding:utf-8 -*- import requests import re class Gushiwen_Spider(object): def __init__(self): self.url = "https://www.gushiwen.org/default_{}.aspx" self.headers...

使用xpath爬取腾讯招聘招聘数据 # -*- coding:utf-8 -*- import requests from lxml import etree class Tencent(object): def __init__(self): self.base_url = "https://hr.tencent.com/position.php?keywords=py...

在使用urllib3抓取某个药智时，出现下面错误 urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1045)> 解决办法：两种处理办法 取消证书...

具体代码如下 # print(etree.tostring(html,encoding="utf-8").decode("utf-8")) lis = ul.xpath("./li[@class='list-item']") movies = [] for li in lis: # print(etree.tostring(li,encoding="utf-8").decode("utf...

import request resp = request.get("http://www.baidu.com") resp.text // 返回的是一个经过解码后的字符串，是unicode类型 resp.content // 返回的是一个原生字符串，是bytes类型 ...

废话不多说，直接上代码，保存的cookie的位置和名字可以在MozillaCookieJar()这里传入参数，也可以在cookiejar.save()传入 from urllib import request from http.cookiejar import MozillaCookieJar cookiejar = MozillaCookieJar("cookie.txt") han...

1 环境配置 安装： apt-get install cron(服务器环境下默认安装的有) 使用： crontab -e 进入编辑页面（第一次会让选择编辑器） crontab - l 查看当前的定时任务 编辑： 分 小时 日 月 星期 命令 0-59 0-23 1-31 1-31 0-6 co...

# -*- coding:utf-8 -*- from selenium import webdriver from lxml import etree import time class BossSpider(object): def __init__(self): self.start_url = 'https://www.zhipin.com/job_detail...