sully2008的专栏

【代码】python3.7 使用urllib模拟发送请求。

一、安装执行以下命令安装scrapypip install scrapy注意：Scrapy是用纯Python编写的，并且依赖于一些关键的Python包（以及其他一些包）：lxml，高效的XML和HTML解析器parsel，是在lxml之上编写的HTML / XML数据提取库w3lib，一个用于处理URL和网页编码的多功能助手扭曲的异步网络框架加密和pyOpenSSL，以处理各种网络级安全需求二、Scrapy教程本教程将指导您完成以下任务：创建一个新的Scrapy项目编写蜘蛛

异常代码如下>>> import urllib.request>>> import urllib.error>>> req = urllib.request.Request("http://www.ooxx-baidu.com")>>> try: urllib.request.urlopen(req)except urllib.error.URLError as e: print(e.reason) [Errno 1

正则表达式使用正则表达式，需导入re模块注意：正则表达式使用反斜杠字符 (’’) 来表示特殊形式或是允许在使用特殊字符时不引发它们的特殊含义特殊字符说明.(点) 在默认模式，匹配除了换行的任意字符.(点) 在默认模式，匹配除了换行的任意字符^(插入符号) 匹配字符串的开头， 并且在 MULTILINE 模式也匹配换行后的首个符号$匹配字符串尾或者换行符的前一个字符;foo 匹配 ‘foo’ 和 ‘foobar’ , 但正则 foo$ 只匹配 ‘foo’。*

背景说明爬取煎蛋网中随手拍栏目中的某页的所有图片实战分析先打开煎蛋网站中的“随手拍”，链接为：http://jandan.net/ooxx/MjAyMDA1MTctMTc1#comments按F12打开开发者工具，然后在图片上点击“检查”，可看到图片的链接找到这些图片的链接，然后保存即可代码实现download_images方法创建保存图片的文件夹，再调用find_images找到图片的地址，再用save_imgs方法来保存图片url_open方法说明：很多地方都要从链接请求html

背景很多网站会限制程序去爬数据，所以必须要伪装隐藏自己，模拟是浏览器发起的请求添加head和延迟访问方式一 发起的request请求前，加上head示例代码如下:header中加上User-Agent属性import urllib.requestimport urllib.parseimport jsoncontent=input('Enter the word that needs translated:')url='http://fanyi.youdao.com/translate

一.python如何访问互联网urllib模块介绍url + lib 组成了urllib模块在这里插入代码片

模块模块是更高级的封装，list,dict是对数据的封装，函数是对语句的封装；类是属性和方法的封装；如何导入模块注：命名空间的使用新建hello.py文件，放到python安装目录def hi(): print('你好啊，sully lei')2.导入模块>>> import sys>>> sys.path['', 'D:\\Python\\Python37\\Lib\\idlelib', 'D:\\Python\\Python37\\pytho

问题在python官网下载的适合当前操作系统版本的exe安装包(windows7 32位)，安装后莫名其妙卡住一直不动，安装界面一直不结束安装后Scripts文件夹中为空解决问题问题1：安装界面卡住的问题，打开“任务管理器”，杀掉安装进程，然后重新电脑；在双击python安装exe文件，即可完成安装问题2：先查看python的环境变量配置，PATH变量中加上python配置...

魔法方法魔法方法被双下划线包围，例如：init魔法方法的魔力体现在总能够在适当的时候，被自动调用一 init方法与其他语言的构造方法功能类似init(self[,…])注意：init的返回值一定为None,也就是没有返回值矩形的示例如下：>>> class Rectangle: def __init__(self,x,y): self.x = x s...

一 issubclassclass 是否为classinfo的子类语法：issubclass(class,classinfo)>>> class A: pass>>> class B(A): pass>>> issubclass(B,A)True>>> issubclass(B,B)True>&g...

一 对象oo:Object Oriented面向对象对象的特性封装 举例list中的append和sort方法，封装好之后直接调用继承多态 不同对象对同一行为的抽象，动物的跑为例2.1 继承示例>>> class MyList(list): pass>>> list2 = MyList()>>> list2.appen...

一常见异常1.AssertionError断言语句(assert)失败,示例如下：>>> a = 1>>> assert(a<1)Traceback (most recent call last): File "<pyshell#7>", line 1, in <module> assert(a<1)A...

字典 dict特性Python内置了字典：dict的支持，dict全称dictionary，在其他语言中也称为map，使用键-值（key-value）存储，具有极快的查找速度。key-value存储方式，在放进去的时候，必须根据key算出value的存放位置，这样，取的时候才能根据key直接拿到value。dict有以下几个特点：查找和插入的速度极快，不会随着key的增加而增加；需要...

递归示例：输入一个数字，计算从1到该数字的阶乘import sys#print sys.getdefaultencoding()def factorial(n): result = n for i in range(1,n): result *= i return resultnumber = int(input('请输入一个正整数：'))result = factoria...

背景经常需要连接数据库，统计数据并导出成excel安装在pypi上找到合适的module包，windows 64位,python3.7.6版本，需下载cx_Oracle-7.3.0-cp37-cp37m-win_amd64.whl，执行’pip install cx_Oracle-7.3.0-cp37-cp37m-win_amd64.whl’ 安装module脚本import cx_Or...

python远程控制linux服务器paramiko安装与使用说明背景安装说明使用详解paramiko安装与使用说明背景工作中应用系统都是多实例部署的，经常会遇到在多台机器执行同样的操作命令；使用paramiko能减少重复的工作。安装说明需要离线安装安装ecdsa、paramiko、pycrypto，在pypi中搜索适用于当前python版本的模块包，ecdsa-0.15.tar.gz...

定义函数Function使用def关键字定义函数，函数不含参数，也可包含参数，定义函数是的参数叫做形参；调用函数时，传入的参数叫实参。可在函数定义时，设置默认值，当调用函数不传值时，参数为默认值；>>> def saySome(name,words): print(name + '->' + words)>>> saySome('特朗普','...

序列列表list、元组tuple、字符串string的共同点都可以通过索引得到每一个元素 默认索引值都是从0开始 可通过分片的方法得到一个范围内的元素的集合 有很多共同的操作(重复操作符、拼接操作符、成员关系操作符)list把一个可迭代对象转换成列表>>> a = []>>> len(a） SyntaxError: invali...

format示例1：'{0} love {1}.{2}'.format('sully','ruly','baozi')示例2：'{a} love {b}.{c}'.format(a='sully',b='ruly',c='baozi')示例3: '{0:.1f}{1}'.format(27.456,'GB')字符串格式化符号含义符号 说明 %C 格式化字符及其A...

前言日常有项工作需要每周从数据库表导出成excel，下文将记录从安装读写excel的模块，到连接数据库导出成excel安装module安装python操作excel所需的module,包括xlrd、xlwt、xlutils三个module。由于测试环境机器无法连接外网，需在pypi网站找到python版本（2.7）对应的安装包，分别下载了xlrd-1.2.0.tar.gz，xlwt-1...