BMSW的博客

记录读写常用数据库

在读取数据库等场景中有时候会遇到连接失败等情况，如果不加处理就会导致程序直接报错停止运行，为了避免程序停止运行，我们可以使用python的retry包来帮助我们很好的实现重试机制，也就是当程序报错时可以重复执行代码，具体代码如下from retrying import retry@retry(stop_max_attempt_number=5, wait_fixed=20)def read_data(): pass其中stop_max_attempt_number是指重复运行的次数；wait

有时会遇到数据特别集中的分布在某一个区间，如果要在这个区间内选取一个值作为阈值时，选取的阈值稍微有些变动就会导致数据量变化很大，因此需要将密集分布的数据分散开来，此时可以用到softmax的锐化操作，代码如下：import numpy as npdef softmax(x,t): x = x/t # 对输入进行锐化操作，其中t是系数 x = np.exp(x) # 对所有元素求指数 tmp = np.sum(x) # 求元素和 x /= tmp # 求so

在某些场景中需要对list中的元素进行分组，并且在多次分组过程中同一个元素需要固定分配在某一个组中，通常的想法是固定随机数种子以后使用random进行随机抽取，但是当list中的元素的数量或者位置发生改变时同一个元素的组别就会发生变化，示例如下：import randomrandom.seed(2022)test1 = [1,2,3,4,5,6,7,8,9,10]res1 = random.sample(test1,3)print(res1)print('---分割线---')test2

在日常工作生活中经常会遇到统计一个列表中不同区间的数值数量的问题，在此记录一下如何使用python进行统计import randomimport pandas as pdscore = [random.randint(0,10) for i in range(100)] # 此处随机生成一个数值列表score = pd.Series(score)se1 = pd.cut(score, [0,1,2,5,8,10]) # 统计0-1,1-2依次类推各个区间的数值数量print(se1.value_

最近需要实现一个爬虫来获取网页数据，先对内容进行梳理。大概思路：使用selenium+webdriver可以模仿人工打开浏览器，之后获取浏览器的html代码，再对html代码进行解析便可获得所需数据一、下载所需安装包所需安装包如下1）webdriver(下载地址)2）chrome浏览器下载地址webdriver和chrome浏览器的版本必须对应！！二、少量打开关闭浏览器的情况from selenium import webdriver# 存放下载的hromedriver的路径chrom

经常会用到python的多进程来提高脚本的时间性能，在此简单记录一下python多进程的使用方式1、首先记录只有一个参数时的使用方式from multiprocessing import Poolpool = Pool(10) #此处代表开启10个进程def process(nums): result = num + 1 return resultnums = [1,2,3,4,5,6] # nums为一个可遍历的数据类型results = pool.map(process,nums)

在python代码迁移环境时需要保证各个依赖包版本一致以避免出现一些问题，批量安装依赖包方法如下：1）生成requirement.txt在服务器中切换到项目路径下，执行以下命令：pip freeze > requirement.txt所生成的requirement.txt中包含依赖包名和版本2）批量安装依赖包在另一个机器环境中执行以下命令，就会安装requirement.txt中的依赖包并且版本一致pip install -r requirement.txt...

自己偶尔会用到一些python的语法进行数据处理，用的时候又忘记了，去百度搜索又要搜索半天，干脆自己记录下来，下次再用到直接来copy。以列表中的某个元素为索引进行排序// An highlighted block#test是一个二维数组（列表），以每一个一级元素中的第一个元素进行排序test = [[1,2,3],[9,8,7],[6,5,4]]sort_test = sorted(test,key=lambda x:x[0],reverse = True)#reverse = True时降序排

mysql中字段包括date和datetime两种时间类型，分别介绍如何使用Python向mysql写入上述两种时间类型的数据(主要为sql语句)：1、date类型date = datetime.datetime.now.strftime("%Y-%m-%d")sql = “INSERT INTO TABLE_NAME(字段) values(str_to_date(’%s’,’%%Y-%%m...

crontab -e0 4 * * * /root/usr/local/bin/python3.7 /root/project/test.py上述代码表示每天凌晨四点执行test.py文件/root/usr/local/bin/python3.7表示python的安装路径/root/project/test.py表示要被定时执行的py文件的存放路径...

pandas读写Mysql:from sqlalchemy import create_engineimport pandas as pdengine = create_engine(“mysql+pymysql://参数1:参数2@参数3/参数4”)#参数1代表用户名，参数2代表密码，参数3代表IP，参数4代表数据库名sql = ’ ’#sql语句df = pd.read_sq...

1、安装ipython和jupyterpip install ipythonpip install jupyter2、生成配置文件jupyter notebook --generate-config3、生成密码python3In[1]:from notebook.auth import passwdIn[2]:passwd()Enter password：xxx（自己设置密码）...

kmeans DBSCAN LDA聚类 TSNE对聚类效果进行可视化展示对代码进行记录，方便以后使用kmeans聚类代码from sklearn.cluster import KMeanskm_cluster = KMeans(n_clusters=3, max_iter=300, n_init=40,init='k-means++', n_jobs=-1)result = km_...

记录python3生成词云的方式，方便以后查找使用from wordcloud import WordCloudimport matplotlib.pyplot as pltcloud = WordCloud(font_path = '', background_color = 'white', max_words = 200, max_font_size = 40, collocations = False, scale = 4) # scale代表