
Python爬虫
每日分享一个爬虫使用技巧,欢迎分享,共同进步。
「已注销」
这个作者很懒,什么都没留下…
展开
-
pipenv管理虚拟环境
一、pipenv管理你的虚拟环境1.下载安装pip install pipenv2.查看版本pipenv --version3.创建虚拟环境# 创建与本机相同python版本的虚拟环境pipenv install# 指定版本创建并初始化虚拟环境(如果你本机装的是3.7版本python,那么你无法创建3.6的虚拟环境,巨坑)pipenv install --python 3.64.激活虚拟环境pipenv shell5.退出虚拟环境exit6.移除虚拟环境# 删除当前原创 2020-12-26 09:41:45 · 2014 阅读 · 2 评论 -
conda管理虚拟环境
一、conda管理虚拟环境1.创建虚拟环境创建一个名为py36的虚拟环境,指定python版本为3.6.1conda create -n py36 python=3.6.12.激活虚拟环境# windowsconda activate py36# linuxsource activate py36# 查看当前python执行文件路径which python3.退出虚拟环境conda deactivate4.查看已安装环境conda info --envsconda e原创 2020-12-26 09:40:47 · 192 阅读 · 0 评论 -
git命令大全
一、git命令大全1.git configgit一共有3个配置文件:仓库级的配置文件:在仓库的 .git/.gitconfig,该配置文件只对所在的仓库有效。全局配置文件:Windows 系统在 C:\Users\<用户名>\.gitconfig,Linux 系统在 ~/.gitconfig。系统级的配置文件:在 Git 的安装目录下 etc 文件夹中的 gitconfig。# 查看当前配置$ git config -l$ git config --list# 配置提交记原创 2020-12-26 09:40:07 · 123 阅读 · 0 评论 -
解析库xpath高级使用(超全)
解析库xpath使用方法XPath,全称XML Path Language,即XML路径语言,它是一门在XML文档中查找信息的语言。XPath 最初设计是用来搜寻XML文档的,但是它同样适用于HTML文档的搜索。XPath的选择功能十分强大,它提供了非常简洁明了的路径选择表达式,另外它还提供了超过100个内建函数用于字符串、数值、时间的匹配以及节点、序列的处理等等,几乎所有我们想要定位的节点都...原创 2020-04-21 19:37:56 · 2085 阅读 · 0 评论 -
自动化工具selenium
自动化工具selenium的使用一.selenium+Python环境配置1.安装Python3.5及以上版本,这里我安装的是Python3.7.42.安装selenium:pip install selenium3.安装对应浏览器版本的驱动webdriver,查找对应版本如下chromedriver:http://npm.taobao.org/mirrors/chromedrive...原创 2020-04-19 13:36:09 · 300 阅读 · 0 评论 -
异步请求库aiohttp
异步请求库aiohttp的使用1.使用aiohttp发起一个请求官方推荐使用一个客户端会话来发起所有请求,会话中记录了请求的cookie,但你还可以使用aiohttp.request来发送请求。当我们使用 async def 就是定义了一个异步函数,异步逻辑由asyncio提供支持。async with aiohttp.ClientSession() as session 为异步上下文管理...原创 2020-04-15 21:38:10 · 399 阅读 · 0 评论 -
最全请求库requests的使用方法
请求库requests的使用方法一.基本使用1.简介requests库是一个著名的请求库,它把python标准库urllib3封装起来,使api的使用更加的方便和简洁。2.安装pip install requestspip默认使用的是官方的源来安装,如果速度很慢,建议换一个源安装。3.使用requests发起一个请求我们先导入requests,然后发送一个请求,使用response...原创 2020-04-12 21:06:04 · 1344 阅读 · 0 评论 -
Python字符串与进制转换
字符0b / 0B --> 二进制字符前缀0o / 0O --> 八进制字符前缀0x / 0X --> 十六进制字符前缀1、二进制转八进制数字0和英文b:0b10110011111为二进制数据oct函数用于整数转换为八进制字符串x = "0b10110011111"oct(int(x, 2))# 结果:"0o2637"2、二进制数据转十进制int函数用于...原创 2019-09-29 18:52:56 · 5544 阅读 · 0 评论 -
你真的知道HTTP协议和HTTPS协议吗
1. HTTP协议和HTTPS协议一. HTTP协议1. 定义HTTP(Hypertext Transfer Protocol,超文本传输协议)是一个基于TCP/IP通信协议来传递数据(HTML 文件, 图片文件, 查询结果等)的超文本传输协议。HTTP协议工作于客户端-服务端架构上。浏览器作为HTTP客户端通过URL向HTTP服务端即WEB服务器发送所有请求。Web服务器根...原创 2020-04-12 20:29:07 · 276 阅读 · 0 评论