python爬虫学习
程序员陈_明勇
一个热爱技术,喜欢专研技术的程序员。成功的路上并不拥挤,有没有兴趣结个伴?
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
python requests模块
requests模块安装常用方法requests添加代理cookiesession处理不信任的SSL证书安装cmd命令行里安装pip install requests开发者工具里安装常用方法requests.get(url, params=None, **kwargs):以get的方式请求url,如果有参数则在后边添加对应参数代码示例import requestsurl = 'https://www.baidu.com/s?'headers = { 'User-Ag原创 2020-07-11 18:08:46 · 481 阅读 · 0 评论 -
python实现有道翻译
初学爬虫,利用urllib模块实现有道翻译import urllib.requestimport urllib.parseimport jsondef main(): content = input('请输入要翻译的内容:') # 翻译地址 request_url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule' # data参数 data = {'i':原创 2020-07-11 15:14:51 · 2063 阅读 · 0 评论 -
python urllib模块
urllib模块urllib.request模块版本介绍常用方法响应对象urllib.parse模块常用方法请求方式urllib.request模块版本介绍在python3.0之前,通常为urllib2、urllib结合使用python3把urllib和urllib2合并成urllib.request常用方法urllib.request.urlopen(url):向url发送请求并获取响应得到响应之后,response.read() -> 得到网页内容,编码为bytes使用'r原创 2020-07-10 22:22:34 · 426 阅读 · 0 评论 -
python 爬虫初学的几个概念
GET和POSTGET : 查询参数都会在URL上显示出来POST : 查询参数和需要提交数据是隐藏在Form表单里的,不会在URL地址上显示出来URL组成部分URL: 统⼀资源定位符https://new.qq.com/omn/TWF20200/TWF2020032502924000.htmlhttps: 协议-new.qq.com: 主机名port 端⼝号: 80 /new.qq.com 在他的后⾯有个 :80 可以省略TWF20200/TWF2020032502924000.h原创 2020-07-10 21:41:24 · 287 阅读 · 0 评论
分享