mac下urlopen报错和chardet模块安装

1. urlopen打开报错

今天才看到鱼c爬虫的第一课,打开网址就卡住了,报了n多错,直接懵了,仔细翻了一下最后几句,发现证书有问题,然后查了一下改了,全局取消验证:

import ssl
ssl._create_default_https_context = ssl._create_unverified_context

2. chardet与pip的安装

发生在想查出网址编码格式,需要安装模块chardet(detection),mac真的就得重新搜,发现很多几年前的方法已经过时了。。而且要先安装pip才能安装python下的各种包。

curl https://bootstrap.pypa.io/get-pip.py | sudo python

搞了好久好久找了好多好多网页。。。终于找到这行代码,看到successfully installed的句子

 Uninstalling pip-21.1.3:
      Successfully uninstalled pip-21.1.3
Successfully installed pip-21.2.4 wheel-0.37.0

然后安装chardet:

sudo pip install chardet

测试成功!!激动

>>> import ssl
>>> ssl._create_default_https_context = ssl._create_unverified_context
>>> response = urllib.request.urlopen('http://bbs.fishc.com').read()
>>> chardet.detect(response)
{'encoding': 'GB2312', 'confidence': 0.99, 'language': 'Chinese'}

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值