u011280778的博客

很明了的一个常用参数图标：更像细的一个参数说明：由于文件读写时都有可能产生IOError，一旦出错，后面的f.close()就不会调用。所以，为了保证无论是否出错都能正确地关闭文件，我们可以使用try ... finally来实现：file= open("test.txt","r")try: for line in file.readlines(): ...

以Chrome浏览器为例：方法一：from selenium.webdriver import Chrome, ChromeOptionsopt = ChromeOptions() # 创建Chrome参数对象opt.headless = True # 把Chrome设置成可视化无界面模式，windows/Linux 皆可drive...

遇到的问题描述我们经常会碰到用selenium操作页面上某个元素的时候， 需要等待页面加载完成后， 才能操作。 否则页面上的元素不存在，会抛出异常。 比如：一个动态网页使用了ajax的异步加载，我们需要等待元素加载完成后， 才能操作这个元素（事实上，现在我们遇到的所有想要爬取的网站都或多或少的使用了各种各样的动态技术加载局部元素来提升访问效率）selenium 中提供了非常...

能看到这里说明快进入动态网页爬取了，在这之前还有一两个知识点要了解，就如本文要讲的json及其数据提取JSON是什么  json是轻量级的文本数据交换格式，符合json的格式的字符串叫json字符串，其格式就像python中字符串化后的字典，有时字典中还杂着列表字典，但是里面的数据都被双引号包着，下面是一个例子'{"Africa": [{ "name":"蜜獾" , "nick...

经常使用Python的都知道pip，但有时候，下载某个模块不成功，提示信息如下pytharm查看自带的pip版本解决方式一：pytharm的terminal里卸载pip再安装pip如果还不行，解决方式二去你当前的项目路径下找到lib文件夹下的site-packages，删除相关的pip版本再去file——>settings查看自带pip版本的地方，...

# python2 和 python3的兼容代码try: # python2 中 import cookielib print(f"user cookielib in python2.")except: # python3 中 import http.cookiejar as cookielib print(f"user cookielib i...

我是从这篇博客中（https://blog.youkuaiyun.com/zwq912318834/article/details/79571110）了解的一点基础东西，代码都是从这篇博客里面的源代码直接复制过去测试和学习的。遇到的问题：1、返回状态码：502——百度得知这是一个反爬虫的状态码，原博主是写于2018年3月份，我测试是在2020年2月份，说明马蜂窝已经做了反爬虫的策略，由于自己这方面不够...

Request HeadersAccept:告诉服务器，客户机支持的数据类型Accept-Encoding:告诉服务器，客户机支持的数据压缩格式Cache-Control：缓存控制，服务器通过控制浏览器要不要缓存数据Connection:处理完这次请求，是断开连接还是保持连接Cookie:客户机通过这个可以向服务器带数据Host:访问的主机名Upgrade-I...