素质云笔记

阿里云API网关使用笔记

自动化报告pptx-python｜如何将pandas的表格写入PPTX（二）

pyinstaller打包教程

阿里云服务器扩容

甚至一些依赖如果一旦安装cupy，一些依赖就会默认使用，连带报错，cupy,一种类似numpy,使用CUDA的GPU硬件加速。最简单的办法就是直接删除cupy，免得碍眼。笔者在安装一些依赖，比如。

本篇是拆解这篇【name】 将报错 + logger提示拿出来。

参考：Python中多层List展平为一层使用Python脚本的过程中,偶尔需要使用list多层转一层,又总是忘记怎么写搜索关键词,所以总是找了很久,现在把各种方法记录下来,方便自己也方便大家.方法很多,现在就简单写8种,后面再对这8种方法做基准测试.声明:文中的方法均收集自Making a flat list out of list of lists in Pythonimport functoolsimport itertoolsimport numpyimport operatori

随便记录一下datetime模块的一些使用：文章目录获取当前时间字符到时间格式修改格式获取当前时间import datetime #引入datetime模块now_time = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S.%f')now_time结果为：2021-03-29 15:55:25.779830字符到时间格式import datetime #引入datetime模块str_to_datetime = lam

来源：Python技巧 | 一个任务超时退出的装饰器，用起来真方便~本篇装饰器的写法，倒是蛮值得学习的，贴一下。文章目录1 任务超时退出2 日志记录3 缓存4 约束某个函数的可执行次数1 任务超时退出我们日常在使用的各种网络请求库时都带有timeout参数，例如request库。这个参数可以使请求超时就不再继续了，直接抛出超时错误，避免等太久。如果我们自己开发的方法也希望增加这个功能，该如何做呢？方法很多，但最简单直接的是使用并发库futures，为了使用方便，我将其封装成了一个装饰器，代码

加载对应的库：$ pip install pyjwt文档地址在：https://pyjwt.readthedocs.io/en/stable/一个非常简单的例子：>>> import jwt>>> encoded_jwt = jwt.encode({"some": "payload"}, "secret", algorithm="HS256")>>> print(encoded_jwt)eyJ0eXAiOiJKV1QiLCJhbGciOi

文章目录1 初始化入口2 java可实现：SQLTask配合Tunnel实现大量数据导出3 pyODPS3.1 sql读入3.2 DataFrame3.2.1 dataframe读入3.2.2 分区3.3 to_pandas4 与mars融合安装：pip install pyodps1 初始化入口在使用PyODPS前，您需要用阿里云账号初始化一个MaxCompute的入口，执行命令如下。from odps import ODPSodps = ODPS('**your-access-id**

之前的一篇：python︱mysql数据库连接——pyodbc0 安装依赖pip3 install --pre pymysql -i https://pypi.tuna.tsinghua.edu.cn/simple pip3 install --pre sqlalchemy -i https://pypi.tuna.tsinghua.edu.cn/simple1 连接方式1.1 pymysql.connect直接连import pymysql# 连接databaseuser = "xxx

开个头，有参考：python定时任务最强框架APScheduler详细教程安装：pip install apscheduler一个案例其中 BlockingScheduler是阻塞性的调度器，是最基本的调度器，下面调用 start方法就会阻塞当前进程，所以如果你的程序除了调度进程没有其他后台进程，那么是可以是否的，否则这个调度器会阻塞你程序的正常执行。接下来就是定义一个 my_clock函数，这个函数就是需要定时调度的任务代码。然后就是实例化一个 BlockingScheduler对象，并

参考：Python—实现sftp客户端（连接远程服务器）import paramiko transport = paramiko.Transport(("106.15.88.182", 10022)) # 获取Transport实例transport.connect(username="root", password="123456") # 建立连接 # 创建sftp对象，SFTPClient是定义怎么传输文件、怎么交互文件sftp = paramiko.SFTPClient.fr

文章目录1 redis docker 部署与安装2 py - redis的使用2.1 redis的连接2.2 常规属性查看2.3 STRING 字符串的操作1 redis docker 部署与安装参考：一文教你如何通过 Docker 快速搭建各种测试环境首先拉取 Redis 镜像, 这里我选择的是 redis:alpine 轻量级镜像版本：docker pull redis:alpine...

文章目录1 mongodb安装1.1 下载 MongoDB 镜像1.2 运行 MongoDB 镜像1.3 添加管理员账号1.4 用新创建的 root 账户连接，测试一下2 可视化界面Robo 3T3 pymongo增删改查3.1 数据库连接3.2 建表collection3.3 文档插入与删除关于Unicode编码的字符串注意点3.4 数据更新update3.5 数据替换replace3.6 查...

collections有的功能：['deque', 'defaultdict', 'namedtuple', 'UserDict', 'UserList', 'UserString',\ 'Counter', 'OrderedDict', 'ChainMap', 'Awaitable', 'Coroutine', 'AsyncIterable', \ 'AsyncIterator', 'A...

Tkinter的GUI设计 和 django页面设计，那么笔者只是想快速做个demo原型，以上的内容能不能结合着来，有一些简单的交互 + web可以快速访问的到，于是就看到了jupyter notebook这两个库，非常简单的玩具，来看看呗~文章目录一 ipywidgets1.1 基础组件1.2 interact 简单交互二 lineup_widget一 ipywidgets文档：htt...

笔者最近在尝试使用PySpark，发现pyspark.dataframe跟pandas很像，但是数据操作的功能并不强大。由于，pyspark环境非自建，别家工程师也不让改，导致本来想pyspark环境跑一个随机森林，用 《Comprehensive Introduction to Apache Spark, RDDs & Dataframes (using PySpark) 》中的案例，...

笔者最近需要使用pyspark进行数据整理，于是乎给自己整理一份使用指南。pyspark.dataframe跟pandas的差别还是挺大的。1、——– 查 ——–— 1.1 行元素查询操作 —像SQL那样打印列表前20元素show函数内可用int类型指定要打印的行数：df.show()df.show(30)以树的形式打印概要df.prin...

opencv和matplotlib是比较常用的图像分析模块。在Ipython里面，opencv不能直接显示出来，所以有些时候会借助matplotlib来显示。%matplotlib inline .1、matplotlib的读入与显示import matplotlib.pyplot as plt import numpy as np from PIL import ...

项目链接：https://github.com/vi3k6i5/flashtext 原文：资源 | 十五分钟完成Regex五天任务：FastText，语料库数据快速清理利器 .性能：案例：字符串查找英文：# pip install flashtextfrom flashtext.keyword import KeywordProcessorkeyword_processor = Keywor

python种关于json有很多，simplejson，cjson，还有ujson（详细内容可见：http://blog.youkuaiyun.com/gzlaiyonghao/article/details/6567408）. cjson模块只支持string/unicode的key JSON(JavaScript Object Notation)编码格式的数据。1、变量解码、编码为Json格式2、文

直接连接数据库和创建一个游标（cursor)数据查询（SQL语句为 select …from..where）1、pyodbc连接import pyodbccnxn = pyodbc.connect('DRIVER={SQL Server};SERVER=xxx;DATABASE=xxx;UID=xxx;PWD=xxx')cursor = cnxn.cursor()cursor.execute(

多进程实践——multiprocessing笔者最近在实践多进程发现multiprocessing，真心很好用，不仅加速了运算，同时可以GPU调用，而且互相之间无关联，这样可以很放心的进行计算。譬如（参考：多进程）：from multiprocessing import Poolimport os, time, randomdef long_time_task(name):...

新手入门python,开始写一些简单函数，慢慢来，加油~一、函数 +三个内建函数filter，map和reduce + if1、def/lambdadef myadd(a=1,b=100): result = 0 i = a while i # 默认值为1+2+3+……+100 result += i i +

安装完anaconda，就相当于安装了Python、IPython、集成开发环境Spyder、一些包等等。是一个IDE、安装包的大杂烩，很好很强大，官方下载链接：https://www.continuum.io/downloads下载后，直接安装即可，炒鸡方便。————————————————————————————————————————

先学了R，最近刚刚上手python,所以想着将python和R结合起来互相对比来更好理解python。最好就是一句python，对应写一句R。pandas可谓如雷贯耳，数据处理神器。以下符号：=R=代表着在R中代码是怎么样的。速查笔记：string模块，还提供了很多方法，如 S.find(substring, [start [,end]]) #...

先学了R，最近刚刚上手python,所以想着将python和R结合起来互相对比来更好理解python。最好就是一句python，对应写一句R。python中的numpy模块相当于R中的matirx矩阵格式，化为矩阵，很多内容就有矩阵的属性，可以方便计算。以下符号：=R=代表着在R中代码是怎么样的。一、分组.groupbydf.groupby(df.year // 10 *10).max() #=

先学了R，最近刚刚上手python,所以想着将python和R结合起来互相对比来更好理解python。最好就是一句python，对应写一句R。pandas可谓如雷贯耳，数据处理神器。以下符号：=R=代表着在R中代码是怎么样的。pandas 是基于 Numpy 构建的含有更高级数据结构和工具的数据分析包类似于 Numpy 的核心是 ndarray，pandas 也......

先学了R，最近刚刚上手python,所以想着将python和R结合起来互相对比来更好理解python。最好就是一句python，对应写一句R。python中的numpy模块相当于R中的matirx矩阵格式，化为矩阵，很多内容就有矩阵的属性，可以方便计算。以下符号：=R=代表着在R中代码是怎么样的。    array模块定义了一种序列数据结构，看起来和list很相似，但是所有...

pandas中有类似R中的read.table的功能，而且很像1、python的read_csv#数据导入df = pd.read_csv('./cpu.csv',header=0)#中文encoding = 'gbk'约等于R中的read.csv('./cpu.csv',header=T,encoding= UTF-8)2、python的to_csvto_cs

准备放下R开始学python,真是痛苦，因为找个IDE都好麻烦，调用起来都没Rsudio那么好用。这个IDE下载模块比较方面，非常快pycharm的下载与pandas安装：http://bbs.pinggu.org/thread-3633477-1-1.htmlpycharm官方教学视频：链接：http://pan.baidu.com/s/1sl3WfGL 密码：03ho

笔者寄语：规范化主要是因为数据受着单位的影响较大，需要进行量纲化。大致有：最小-最大规范化、均值标准化、小数定标规范化1、最小-最大规范化也叫离差标准化，是对原始数据的线性变换，将数据映射到[0,1]之间，与功效系数法相同。#最小-最大规范化b1=(data[,1]-min(data[,1]))/(max(data[,1])-min(data[,1]))b2