蛐蛐的博客

1.简介安装了最新版本的jupyterlab和jupyterlab-sql，但是没法工作jupyter labextension listJupyterLab v3.1.18Other labextensions (built into JupyterLab) app dir: /home/ubuntu/.local/share/jupyter/lab jupyterlab-sql v0.3.3 enabled X The following exten..

1.帮助scrapy --helpUsage: scrapy <command> [options] [args]Available commands: bench Run quick benchmark test check Check spider contracts crawl Run a spider edit Edit spider fetch Fetch a URL

1.简介scrapy在Spider中引入PipeLine custom_settings = { 'LOG_LEVEL':'INFO', 'LOG_FILE': 'log/home.log', 'IMAGES_STORE' : '1home/images',#图片存储 'ITEM_PIPELINES': { 'pipeline.HomeImagePipeLine.HomeImagePipeLine': 50.

1.简介jupyter安装了扩展，启用扩展时，发现写入目录是/usr/etc，因为没有权限会报错jupyter serverextension enable jupyterlab_sql --py --sys-prefixEnabling: jupyterlab_sql- Writing config: /usr/etc/jupyter...PermissionError: [Errno 13] Permission denied: '/usr/etc'2.解决Pe..

1.简介Matplotlib 是 Python 的绘图库。 它可与 NumPy 一起使用，提供了一种有效的 MatLab 开源替代方案。1.1 简单示例import numpy as np from matplotlib import pyplot as plt x = np.arange(1,11) y = 2 * x + 5 plt.title("Matplotlib demo") plt.xlabel("x axis caption") plt.ylab..

1.简介使用pymysql插入数据，显示字符串值不正确2.解决原因有很多，都是字符集问题，我的问题是客户端连接字符串不对：pymysql.connect(self.host, self.username, self.password, self.database, charset='utf8mb4' )虽然建表时字符集是对的，客户端字符集不正确也不行...

1.示例import threadingdef run(): print("当前线程名称为："+threading.current_thread().name)thread = threading.Thread(target=run)print("准备运行线程")thread.start()准备运行线程当前线程名称为：Thread-1run：定义一个线程运行方法，可以包含参数 threading.Thread：创建一个线程对象，方法为参数 thread..

xml文件：<collection shelf="New Arrivals"><movie title="Enemy Behind"> <type>War, Thriller</type> <format>DVD</format> <year>2003</year> <rating>PG</rating> <stars>10</...

1.获取连接import pymysql# 打开数据库连接connect = pymysql.connect("localhost", "root", "123456", "test", charset='utf8' )# 使用cursor()方法获取操作游标 cursor = connect.cursor()version_sql = 'select version()'result = cursor.execute(version_sql) print("执行结果："+st

1.简介使用logging模块打印日志，封装了获取logger的方法 #获取指定房间的日志记录器 def get_logger(desk): #获取日志记录器 logger = logging.getLogger(desk) logger.setLevel(logging.INFO) #滚动日志处理器 handler = RotatingFileHandler("log/"+desk+'

1.问题data= { 'keywords': None, 'channelId': 0, 'channel_id': 0, 'orderFlg': 1,#时间倒排 'pageNoCurrent': 1,#当前页码，从1开始 'isLockChannel': 0}scrapy.FormRequest(url=self.base_url,formdata=

1.简介multiprocessing是一个用与threading模块相似API的支持产生进程的包。multiprocessing包同时提供本地和远程并发，使用子进程代替线程，有效避免Global Interpreter Lock带来的影响。因此，multiprocessing模块允许程序员充分利用机器上的多个核心。Unix 和 Windows 上都可以运行。multiprocessing模块还引入了在threading模块中没有类似物的API。这方面的一个主要例子是Poo...

1.简介subprocess 模块允许我们启动一个新进程，并连接到它们的输入/输出/错误管道，从而获取返回值。2.run方法run方法直接运行命令，然后返回一个CompletedProcess对象subprocess.run(args, *, stdin=None, input=None, stdout=None, stderr=None, capture_output=False, shell=False, cwd=None, timeout=None, check=False, .

1.文件加载配置import logging.configfrom os import pathlog_file_path = os.path.join(path.dirname(path.abspath(__file__)), 'log.conf')logging.config.fileConfig(log_file_path)使用logging.config模块加载日志配置文件2.记录器列表[loggers]keys=rootlogger = logging.get.

1.get请求import requestsresult = requests.get('https://baidu.com')print(str(result.status_code))GET / HTTP/1.1Host: www.baidu.comUser-Agent: python-requests/2.24.0Accept-Encoding: gzip, deflateAccept: */*Connection: keep-alive2.post表单请求.

1.matchre.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回nore.match(pattern, string, flags=0)pattern：需要匹配的正则表达式，默认从字符串开头匹配，如果包含匹配组，则从字符串中提取匹配组string：需要匹配的字符串flags：匹配的标志位，是否区分大小写，多行匹配1.1 默认从字符串开头匹配import reprint(re.match('www', 'www.ru.

原始的Scapy对http抓包的支持不够友好，数据包的分割只能到TCP级别，需要编码将TCP包合并为HTTP数据包，操作起来很不方便，这里需要使用一个scapy_http包来支持http的解包from scapy.all import *import scapy_http.httpdef printPacket(packet): if packet.haslayer('HTTP'): print("============================")

pypcap是python的网络抓包库1.下载npcap-sdk下载页面下载到npcap-sdk-1.05，里面包含了pypcap安装需要的头文件和库文件include：头文件目录，拷贝到python安装目录下的includeLib：库文件目录，拷贝到python安装目录下的lib目录，注意64位和32位文件不一样2.下载pypcap仓库git clone git@github.com:crayon-shin-chan/pypcap.git3.安装...

1.打印内置函数>>> print(dir(__builtins__))['ArithmeticError', 'AssertionError', 'AttributeError', 'BaseException', 'BlockingIOError', 'BrokenPipeError', 'BufferError', 'BytesWarning', 'ChildProcessError', 'ConnectionAbortedError', 'ConnectionErro

1.系统属性获取1.1获取当前目录os.getcwd()：获取当前工作目录>>> import os>>> print(os.getcwd())D:\software\dev\lang\python\Python381.2获取父目录os.pardir：获取父目录>>> print(os.pardir)..看着很诡异1.3获取文件目录分隔符os.sep：获取文件目录分隔符>>...

1.命令安装pip install pgadmin4pip3 install pgadmin42.whl安装2.1下载whl文件文件目录2.2安装whl文件pip install pgadmin4-4.9-py2.py3-none-any.whlpip3 install pgadmin4-4.9-py2.py3-none-any.whl3.遇到问题3.1 ImportError: cannot import name 'url_encod...

pip下载包时需要配置阿里云镜像加速1.创建~/.pip/pip.conf2.添加配置内容[global]index-url = http://mirrors.aliyun.com/pypi/simple/[install]trusted-host=mirrors.aliyun.com

Python使用爬虫获取文本内容时，经常会发现获取到的文本包含了HTML注释，这时想要去除这些注释，就需要一些方法，自己写逻辑显然比较麻烦而且效果不稳定，这里主要用到了w3lib库的html模块1.remove_tags()移除指定标签，不移除内部文本from w3lib import htmldoc = ''' <div> <a>我是超链接</a> <h1>我是标题</h1> .

在浏览器发送请求时会对表单请求数据与查询字符串进行一种URL编码，这种编码旨在将数据中的影响HTTP的字符进行转换，变为HTTP允许的字符,Python使用urllib库进行转换from urllib import parse#数据对象data = { "a":"1", "b":"3", "x":"张三", "y":"李四"}#进行url_encode编码，编码结果为查询字符串形式，即进行url编码，然后用a=1&b=2形式拼接键值对text.

Python有字节编码库binasciiimport binascii#创建字节数组，数组长度必须为偶数，因为两个字符为一个字节a = b'helloworld'print(a)#字节数组转换为十六进制字符串 !!!的字节数组，注意最后，返回值还是字节数组，如果需要转字符串需要decodeprint(binascii.b2a_hex(a))print(binascii.b2a_hqx(a))#字节数组转换为BASE64字符串的字节数组print(binascii.b2a_ba.

1.网络嗅探sniff(iface="QualcommAtherosAR956xWirelessNetworkAdapter",prn=lambdax:x.show())sniff函数可以作为网络嗅探，获取本地网卡的网络包，以下为参数：iface：网卡名称，在windows上没有eth0、eth1等名称，所以要使用ipconfig /all，取获取的网卡信息的描述作为网卡名称prn：打印包的函数filter：抓包过滤器，采用wireshark语法，比如icmp，注意不能大写...

Scrapy框架提供了ImagePipeLine管道，用于下载网页中的图片，存储到本地或者云框架提供的默认管道功能是，在Spider中收集图片url，作为列表存储到Item的指定属性image_urls中去，管道自动会下载图片并且可以存储完整图像和缩略图到指定的存储位置，图片名称为url的hash这里主要有一个问题，图片如果要分类、分详情存储，比如一个详情页面的图片放到一个文件夹中，这样的要求旧需要定制ImagePipeLine1.图片存储Itemimport scrapy# .

在python中，可以用形如 for a in xxx:形式去遍历的叫可迭代对象，如下#字符串本身为可迭代对象，每个字符为元素print("string iterator")for a in 'dsdsadasdasdas': print(a) #集合也是可迭代对象 print("set iterator")for a in set('dsdsadasdasdas'): print(a) #列表也是可迭代对象 print("list itera.

List（列表） 是 Python 中使用最频繁的数据类型。列表可以完成大多数集合类的数据结构实现。它支持字符，数字，字符串甚至可以包含列表（即嵌套）。列表用[ ]标识，是 python 最通用的复合数据类型。列表中值的切割也可以用到变量[头下标:尾下标]，就可以截取相应的列表，从左到右索引默认 0 开始，从右到左索引默认 -1 开始，下标可以为空表示取到头或尾。注意：python列表可以同时包含不同种类元素，比如字符串和数字b=["32","33","34","35...

if True: print("1") elif True: print("2")else: print("3") elif xxxxxxx

a='x'b='y'#换行输出print(a)print(b)print(a,end="\n")print(b,end="\n")#不换行输出print(a,end="")print(b,end="")主要是print有end参数，而此参数默认为\n

1.下载安装包在这个页面下载pthon下载页面2.点击安装选择定制安装Advanced Options处不要勾选以下两个选项，因为他们会导致下载错误，这些文件可以在安装后手动下载Download debugging symbolsDownload debug binaries安装直到完毕3.手动下载debug模块文件下载页面debug模块下载页面以_pdb和_d结尾的文件都下载下来4.手动安装debug模块文件下载下来的模块文件都是.msi格...