Star_Platinum的博客

asyncio学习https://blog.youkuaiyun.com/sylgdxsgx/article/details/79437928

python提供了一个timeit模块可以用来测试一小段Python代码的执行速度。 使用方法如下：1、导入模块imoet timeit2、创建对象def t1(): l = [] for i in range(1000): l = l + [i]timer1 = Timer("t1()", "from __main__ import t1")...

1.创建数据库mysql> create database mydb character set utf8;Query OK, 1 row affected (0.08 sec)2．导入引擎和基类from sqlalchemy import create_enginefrom sqlalchemy.ext.declarative import declarative...

1 安装框架的目的利用setup.py将框架安装到python环境中，在编写程序的时候，作为第三方模块来调用2 框架安装第一步：完成setup.py的编写以下代码相当于一个模板，只用更改name字段出，改为对应的需要安装的模块名称就可以，比如这里是：scrapy_plus 将setup.py文件放到scrapy_plus的同级目录下from os.path import di...

1.需求了解需求：抓取亚马逊图书的信息目标：抓取亚马逊图书信息, 有图书的名字、封面图片地址、图书url地址、作者、出版社、出版时间、价格、图书所属大分类、图书所属小的分类、分类的url地址url:https://www.amazon.cn/%E5%9B%BE%E4%B9%A6/b/ref=sd_allcat_books_l1?ie=UTF8&node=658390051创...

需求：抓取当当图书的信息目标：抓取当当图书信息, 包含: 图书所属大分类、图书所属小的分类、小分类的url地址, 图书的名字、封面图片地址、图书url地址、作者、出版社、出版时间、价格、url：http://book.dangdang.com思路分析： 1. 程序的入口 当当图书中，从大分类入手，还有一个中间分类，以及小分类，小分类对一个的地址就是列表页的地址 注意，url地址的...

日志功能可以说是相当常用的功能，本文旨在概述日志功能如何统合到框架中。（才不是为了打发训练模型的时间）1 为什么要使用添加日志功能能够方便的对程序进行调试 能够记录程序的运行状态，包括错误2 日志模块的简单说明日志的等级import logging# 日志的五个等级，等级依次递增# 默认是WARNING等级logging.DEBUGlogging.INFO...

from multiprocessing.dummy import Pool # 1、线程池导入import timeclass Engine(object): def __init__(self): # 2、创建线程池和程序停止的条件 self.pool = Pool() self.is_running = False # F...

0、导入模块 import importlib 1、首先定义一个路径字符串 p = ‘spiders.baidu.BaiduSpider’ 其中spiders为文件夹，baidu是文件baidu.py，BaiduSpider为文件中定义的类 2、取得路径中模块的名字 module_name = p.rsplit(“.”, 1)[0] 3、取得路径中类的名字 cls_name = p...

研究了半天总算搞清楚七牛云的第三方资源获取，在这里开源一下class SaveImage(object): def __init__(self): # Access Key 和 Secret Key self.access_key = 'YourAK' self.secret_key = 'YourSK' # 构建鉴权对象...