Python爬虫
关注
分享
扫一扫
文章平均质量分 57
Python爬虫
Effortzjw
这个作者很懒，什么都没留下…
展开
-
Python爬虫—bs4的基本用法
安装： pip3 install bs4 基本用法： import bs4 from bs4 import BeautifulSoup import bs4 from bs4 import BeautifulSoup html_doc = """<html><head><title>The Dormouse's story</title></head> <body> <p class="title"><b&g原创 2021-04-27 17:33:38 · 549 阅读 · 2 评论 -
Python爬虫—requests的基本用法
requests 是python实现的简单易用的HTTP库，使用起来比urllib简洁很多 安装： pip3 install requests 基本用法： import requests GET请求： r = requests.get('http://httpbin.org/get') print('GET请求:',r.text) POST请求： r = requests.post('http://httpbin.org/post',data={'name':'张三'}) print('POS.原创 2021-03-04 17:17:54 · 466 阅读 · 1 评论 -
Python爬虫—curl的基本用法
curl 是常用的命令行工具，用来请求 Web 服务器。它的名字就是客户端（client）的 URL 工具的意思。 它的功能非常强大，命令行参数多达几十种。如果熟练的话，完全可以取代 Postman 这一类的图形界面工具。 参数 说明 示例 -A 设置user-agent curl -A “chrome” https://www.baidu.com -X 用指定方法请求 curl -X POST http://httpbin.org/post -I 只返回请求的头信息 curl .原创 2020-09-11 14:40:40 · 994 阅读 · 0 评论 -
Python爬虫—wget的基本用法
wget Linux wget是一个下载文件的工具，它用在命令行下。对于Linux用户是必不可少的工具，尤其对于网络管理员，经常要下载一些软件或从远程服务器恢复备份到本地服务器。如果我们使用虚拟主机，处理这样的事务我们只能先从远程服务器下载到我们电脑磁盘，然后再用ftp工具上传到服务器。这样既浪费时间又浪费精力，那不没办法的事。而到了Linux VPS，它则可以直接下载到服务器而不用经过上传这一步。wget工具体积小但功能完善，它支持断点下载功能，同时支持FTP和HTTP下载方式，支持代理服务器和设置起来原创 2020-11-19 11:32:51 · 2638 阅读 · 0 评论