大琦想要去拯救世界-优快云博客

原创 python使用布隆过滤器

使用库pybloom_livefrom pybloom_live import ScalableBloomFilter,BloomFilter# 可自动伸缩的布隆过滤器bloom = ScalableBloomFilter(initial_capacity=100,error_rate=0.001)# 添加内容bloom.add('daqi')print('daqi'in bloom)# 定长的布隆过滤器bloom1 = BloomFilter(capacity=10000)bloo

2020-08-18 09:38:34 1499 1

原创简单的使用fastapi从数据库取数据

model里使用pandas查库，因为fastapi接受列表和字典类型，使用pandas的dataframe数据类型可直接转为字典进行返回。import pymysqlimport pandas as pdclass getdata(): def __init__(self): # 连接数据库 self.db = pymysql.connect("localhost","root","dbpwd","aa") # 创建游标 # s

2020-07-03 16:21:27 4776

原创 FastApi使用python-eureka-client注册进Spring cloud Eureka，实现服务调用

一、python-eureka-client 这是一个Python编写的eureka客户端，使用该库可以很容易的与spring cloud其他微服务绑定。 **支持的版本：** Python 3.7+ 安装：pip install py_eureka_client

2021-06-16 16:01:34 1521 2

原创 centos miniconda3 环境下使用crontab定时运行scrapy脚本失败

问题：使用crontab定时启动scrapy有启动日志，显示sh:未找到命令scrapyrun.py中使用的是os.system启动的，在/usr/bin下没有。解决：建立scrapy的软连接查找python地址whereis python找到miniconda3下的bincd /usr/bin建立软连接ln -s /root/miniconda3/bin scrapy /usr/bin/scrapy加环境变量也可能解决这个问题...

2021-05-14 10:13:21 277

原创 jar包发布到本地仓库

本地jar包通过maven命令发布到本地仓库命令：mvn install:install-file -Dfile="C:\Users\Administrator\Desktop\qbnrfxcl-develop\ccsc\sysinfo-service-1.0.jar" -DgroupId=com.ccsc -DartifactId=sysinfo-service -Dversion=1.0 -Dpackaging=jar修改管健参数运行。注意本地maven的path修改为对应地址！...

2021-03-11 17:15:42 174

原创 Django生产环境部署时css，js加载404

setting# 关闭debug模式DEBUG = False# 设置这个，允许所有ip访问ALLOWED_HOSTS = ['*']# 设置静态文件配置STATIC_URL = '/static/'STATICFILES_DIRS = ( os.path.join(BASE_DIR, 'static/'), )STATIC_ROOT = os.path.join(os.path.dirname(BASE_DIR), 'static')urlsfrom django.v

2020-10-29 09:41:29 1762

原创使用django_rest_framework_jwt

导入使用jwt进行权限控制，记录一下。pip install djangorestframework-jwt -i https://pypi.douban.com/simple使用setting.py# 引入rest_frameworkINSTALLED_APPS = [ 'django.contrib.admin', 'django.contrib.auth', 'django.contrib.contenttypes', 'django.contrib.se

2020-08-25 10:37:58 448 1

原创 Django和drf上传文件学习记录

简单的学习了django和drf上传文件(主要是图片)，做一个记录。Django上传文件网页源码<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Title</title></head><body> <form enctype="multipart/form-data" action=

2020-08-24 11:00:56 1815

原创 python使用pipreqs导出所需依赖

首先导入pip install pipreqs速度慢的换源：pip install pipreqs -i https://pypi.douban.com/simple然后在需要导出库的目录命令行执行 pipreqs . --enconding=utf-8就会自动生成requirements.txt

2020-08-14 11:32:24 420

原创 python 使用chardet获取文件编码格式

使用chardet库进行处理，下面是一个读文件夹下所有csv文件编码格式的demo:import osimport chardetdef readFileEncoding(path,file): with open(path, 'rb') as f: file_encoding = chardet.detect(f.read())['encoding'] # 打印文件名和编码 print(file,file_encoding) # 遍历

2020-07-22 16:44:00 655

原创使用sqlalchemy建表并从txt文件读取入库

建表首先数据库要存在，我使用的是mysql数据库。from sqlalchemy import Column, String, create_engine, Integerfrom sqlalchemy.orm import sessionmaker, scoped_sessionfrom sqlalchemy.ext.declarative import declarative_base# 初始化数据库连接，?charset=utf8处理编码问题connection_url = "mysq

2020-06-30 09:48:51 544

原创使用requests和tqdm实现简单的下载视频并显示进度条

使用requests下载视频的同时显示进度条，可以使用tqdm库，关于tqdm库的教程搜索就有很多。这个简单的demo直接上代码import osimport requestsfrom tqdm import tqdmurl = 'https://vd4.bdstatic.com/mda-jhdv4x3jakf2n8d3/sc/mda-jhdv4x3jakf2n8d3.mp4?auth_key=1565846233-0-0-d059103292b1a6ab006a79da979a32e7&amp

2020-06-24 10:55:24 1365

原创 scrapyd的简单使用

scrapydscrapy是一个服务，可以将爬虫部署在服务器端运行。并通过HTTP JSON的方式控制爬虫，并且可以通过web页面监控爬虫状态。安装服务器端安装scrapyd

2020-06-19 10:11:49 1113

原创 sklearn的train_test_split方法

这个方法是对数据进行分开，一共四个返回值，分别是训练集的样本，训练集的目标值，测试集的样本，测试集的目标值，顺序就是这样子的。train_test_split中传入的参数为：数据集，目标集，测试集的大小其中测试集的大小是一个float类型。下面用一个源码中的小例子看一下： >>> import numpy as np >>> from skl...

2020-03-08 14:32:12 1961

原创 sklearn使用KNN算法对鸢尾花进行预测

导入数据from sklearn.datasets import load_iris鸢尾花这个数据中只有150个样本,所以对训练数据的维度不做过多处理。from sklearn.neighbors import KNeighborsClassifierfrom sklearn.datasets import load_irisfrom sklearn.model_selection i...

2020-03-06 17:43:18 999

原创 Django模板转义

使用safe过滤器{{ HTML|safe }}还可以通过{%autoescape off%}的方式关闭整段代码的自动转义{% autoescape off %}{{ HTML }}{% endautoescape %}

2020-02-23 01:24:54 131

qq_41387609的博客