quanshui_dd的博客

引用自：https://www.cnblogs.com/huangguifeng/p/7635512.html通常防止爬虫被反主要有以下几个策略：1.动态设置User-Agent（随机切换User-Agent，模拟不同用户的浏览器信息）2.使用IP地址池：VPN和代理IP，现在大部分网站都是根据IP来ban的。3.禁用Cookies（也就是不启用cookies middleware，不向S...

一、Scrapy Shell基本用法1、 终端输入：scrapy shell指令2、 fetch（url）定位元素1、 输入response，查看响应（有响应，才能做后续定位）2、 根据response.css，查看是否能定位到相应元素获取属性”a h3::attr(href)”.get()/getall()获取文本，::text3、具体的用法，查看官方文档https://doc...

最最基本的请求是python内置的一个http请求库，不需要额外的安装。只需要关注请求的链接，参数，提供了强大的解析。urllb.request 请求模块urllib.error 异常处理模块urllib.parse 解析模块用法讲解简单的一个get请求import urllib.requestreponse = urllib.request.urlopen(‘http://www...

https://www.cnblogs.com/sucretan2010/p/11685989.html

一、获取当前路径 1、使用sys.argv[0]import sysprint sys.argv[0]#输出#本地路径 2、os模块复制代码import osprint os.getcwd() #获取当前工作目录路径print os.path.abspath(’.’) #获取当前工作目录路径print os.path.abspath(‘test.txt’) #获取当...

python当前进程可以调用子进程，子进程可以执行其他命令，如shell，python，java，c…1而调用子进程方法有os模块参见：http://blog.youkuaiyun.com/longshenlmj/article/details/8331526而提高版是 subprocess模块,类似os的部分功能，可以说是优化的专项功能类.123python subprocess用于程序...

因为正在学习音视频，从当当买了关于FFmpeg的书，在家补充知识。遇到了一些命令行的使用，我把它从书上移到笔记上，方便于下次查看，也方便网友查看。书籍是人类进步的阶梯 ----高尔基ffprobeffprobe查看一个音频的文件:ffprobe ~/Downloads/2018121023.mp3 ffpeobe查看一个视频的文件 ffprobe ~/Downloads/2...

812LFWMRSH-eyJsaWNlbnNlSWQiOiI4MTJMRldNUlNIIiwibGljZW5zZWVOYW1lIjoi5q2j54mIIOaOiOadgyIsImFzc2lnbmVlTmFtZSI6IiIsImFzc2lnbmVlRW1haWwiOiIiLCJsaWNlbnNlUmVzdHJpY3Rpb24iOiIiLCJjaGVja0NvbmN1cnJlbnRVc2UiOmZhb...

%print (‘我叫%s, 身高%scm’ % (name,height)) ** 传入的值为元组%s ：str() %d-：十进制--%x ： 十六进制%f ：浮点型指定长度：%5d 右对齐，不足左边补空格%-5d - 代表左对齐，不足右边默认补空格%05d 右对齐，不足左边补0浮点数：%f 默认是输出6位有效数据， 会进行四舍五入...

python的关键要素基本数据类型对象引用组合数据类型逻辑操作符控制流语句算术操作符输入/输出函数的创建于调用1、基本数据类型：①integral类型整型，不可变类型②布尔型：True，False③浮点类型：浮点数复数十进制数字④字符串2、对象引用变量命名规则只能包含字母、数字、下划线，且不能以数字开头区分字母大小写禁止使用保留字命名惯例：...

描述dir() 函数不带参数时，返回当前范围内的变量、方法和定义的类型列表；带参数时，返回参数的属性、方法列表。如果参数包含方法__dir__()，该方法将被调用。如果参数不包含__dir__()，该方法将最大限度地收集参数信息。语法dir 语法：dir([object])参数说明：object -- 对象、变量、类型。返回值返回模块的属性列表。实例以下实例展示了 dir 的...

在 Python 脚本的第一行经常见到这样的注释:#!/usr/bin/env python3或者#!/usr/bin/python3，其目的就是指定该python脚本需要用到的解释器是python。语法在脚本中, 第一行以 #! 开头的代码, 在计算机行业中叫做 “shebang”, 其作用是"指定由哪个解释器来执行脚本".语法格式：#!/usr/bin/env python3或者#...

python的实现1，CPython，原始，标准的实现方式2，JPython，用于与Java集成的实现3，IroPython，用于与.NET框架继承的方式python性能优化工具1，Psyco，扩展模块，进行专业的算法优化2，PyPy，Python实现的Python解释器3，ShedSkin，Python编译器，能将python转化成优化的C++代码编写、执行Python代...

python 程序的执行过程；第一次执行；源代码程序 .py文件 -》由编译器complier （PVM）编译成字节码.pyc文件 -》字节码在解释器interpreter（PVM）中运行 -》最后在处理器processor上执行；...

正确理解Python中if name == ‘main’在Python，我们经常会编写if name == ‘main’这么一段代码，这段代码该怎么来理解？这段代码的功能理解如下：一个python的文件有两种使用的方法：作用一，直接作为脚本执行。作用二，import到其他的python脚本中被调用（模块重用）执行。if name == ‘main’: 的作用就是控制这两种情况执行...