
【Phthon】
文章平均质量分 67
python
温欣2030
v:kkiss_heart
展开
-
python面试题1
对于索引中的字段,mysql会一直向右匹配直到遇到范围查询(>、<、between、like)就停止匹配,比如a = 1 and b = 2 and c > 3 and d = 4 如果建立(a,b,c,d)顺序的索引,d是用不到索引的,如果建立(a,b,d,c)的索引则都可以用到,a,b,d的顺序可以任意调整。count(列名)只包括列名那一列,在统计结果的时候,会忽略列值为空(这里的空不是指空字符串或者0,而是表示null)的计数,即某个字段值为NULL时,不统计。原创 2024-04-12 14:37:03 · 942 阅读 · 0 评论 -
【Python】上市公司数据进行经典OLS回归实操
主营业务利润占比(Coefficient: -0.027229, P-value: 1.294914e-25):主营业务利润占比的增加与因变量的减少呈负相关关系,且统计上显著。现金资产比率(Coefficient: 0.024404, P-value: 3.653465e-51):现金资产比率的增加与因变量的增加呈正相关关系,且统计上显著。管理费用率(Coefficient: -0.009757, P-value: 7.784131e-05):管理费用率的增加与因变量的减少呈负相关关系,且统计上显著。原创 2023-11-15 07:00:00 · 1254 阅读 · 0 评论 -
【LLM_02】LangChain知识库+Lora微调chatglm2-6b模型+提示词Prompt的使用原则
Prompt是给AI的指令,引导模型生成符合业务场景的响应输出。原创 2023-08-04 20:14:56 · 14417 阅读 · 2 评论 -
【AutoGluon_04】从HeidiSql数据库读取数据并用autogluon训练好的模型运行
其中上面代码当中的user、password、host、端口号、database(数据库名称) 需要更改为HeidiSQL对应名称。上面三个是用autogluon已经训练好的模型。原创 2023-07-31 17:03:47 · 365 阅读 · 0 评论 -
【AutoGluon_02】更优精度与特征重要性
除了autogluon最基础的模型之外,还可以对其进行调参等操作,这样跑出来可以有更高的准确率。原创 2023-07-29 09:00:00 · 2355 阅读 · 2 评论 -
【AutoGluon_03】保存模型并调用模型
在训练好autogluon模型之后,可以将模型进行保存。之后当有新的数据需要使用autogluon进行预测的时候,就可以直接加载原来训练好的模型进行训练。其中,参数path="bugStatemodel"就表示在当前路径下新建一个叫bugStatemodel的文件夹,里面存放着训练好的模型。原创 2023-07-29 09:08:36 · 2031 阅读 · 1 评论 -
【AutoGluon_01】自动机器学习框架的安装与示例
Autogluon是一个开源的自动机器学习框架,由AWS(亚马逊网络服务)开发和维护。它旨在简化机器学习的流程,使得即使对机器学习不熟悉的用户也能够轻松地构建高性能的机器学习模型。原创 2023-07-19 16:38:04 · 2516 阅读 · 0 评论 -
【Python统计与数据分析实战_01】位置与分散程度的度量
如果两个变量的变化趋势一致,也就是说如果其中一个大于自身的期望值,另外一个也大于自身的期望值,那么两个变量之间的协方差就是正值。如果两个变量的变化趋势相反,即其中一个大于自身的期望值,另外一个却小于自身的期望值,那么两个变量之间的协方差就是负值。前者通过绘制统计图、编制统计表、计算统计量等方法表述数据的分布特征,是数据分析的基本步骤,也是统计推断的基础。数据是信息的载体,从数据到信息,需要先分析数据的主要特征,这些特征包括数据的位置度量、分散程度度量、关系度量以及分布形状的度量。1、均值:数据的平均值。原创 2023-07-18 20:13:00 · 657 阅读 · 0 评论 -
ModuleNotFoundError: No module named ‘sklearn.externals.six‘
文章目录问题方法一方法二问题方法一sklearn 0.23版本已经删掉了这个sklearn.externals.six,直接从six中引入StringIO即可from six import StringIO方法二出错原因:skleran在0.22版本之后,没有six模块了解决方法:!pip install --upgrade scikit-learn==0.20.3!pip install six...原创 2022-04-17 10:54:19 · 1664 阅读 · 0 评论 -
SSE,MSE均方误差计算公式(训练误差,测试误差)
请看下图当中的两个例子:分别求训练误差以及测试误差原创 2022-04-20 10:00:00 · 9215 阅读 · 1 评论 -
jupyter notebook 主题切换+实现自动换行(学习笔记)
文章目录一、切换主题1.主题2.更改参数3.效果二、自动换行的效果一、切换主题1.主题Available Themes: chesterish grade3 gruvboxd gruvboxl monokai oceans16 onedork solarizedd solarizedl2.更改参数换成主题是monokai的:jt -t monokai -f fira -fs 15 -cellw 80% -ofs 11 -dfs 11 -原创 2022-01-09 22:01:38 · 3867 阅读 · 4 评论 -
python axessubplot_使用matplotlib的savefig保存从python pandas生成的图(AxesSubPlot)
代码】python axessubplot_使用matplotlib的savefig保存从python pandas生成的图(AxesSubPlot)原创 2022-08-05 09:18:56 · 1264 阅读 · 0 评论 -
python replace 空格数据处理
replace与unique编码原创 2022-06-01 19:54:38 · 3794 阅读 · 0 评论 -
python iloc和loc切片
文章目录一、含正负号的下标二、loc和iloc1. 利用loc、iloc提取行数据2. 利用loc、iloc提取列数据3.利用loc、iloc提取指定行、指定列数据4.利用loc、iloc提取所有数据5.利用loc函数,根据某个数据来提取数据所在的行一、含正负号的下标正下标从0开始,负下标从-1开始1。切片的时候包括头不包括尾部。二、loc和ilocloc是指location的意思,iloc中的i是指integer。【1】iloc:根据标签的所在位置,从0开始计数,先选取行再选取原创 2022-05-28 19:01:13 · 6098 阅读 · 0 评论 -
机器学习系列(13)_PCA对图像数据集的降维_02
文章目录一、降维究竟是怎样实现的二维特征矩阵降维的一般过程PCA降维与特征选择的不同:重要参数n_components迷你案例:高维数据的可视化6、探索降维后的数据最大似然估计自选超参数按信息量占比选超参数1、一、降维究竟是怎样实现的【1】降维:减少特征,删除数据,模型受影响【2】噪音:【3】PCA使用样本方差二维特征矩阵降维的一般过程过程二维特征矩阵n维特征矩阵1输入原数据,结构为(2,3)2345PCA降维与特征选择的不原创 2022-05-16 10:30:53 · 4351 阅读 · 0 评论 -
python [::-1] [::-1,::-1]
文章目录一、一、import numpy as npimport numpy as npx = np.arange(12, 38)print("Original array:")print(x)print("Reverse array:")x = x[::-1]print(x)'''Original array: [12 13 14 15 16 17 18 19 20原创 2022-05-07 07:16:21 · 1089 阅读 · 1 评论 -
python 期末复习笔记
文章目录1、set 与 union2、axis=0 与 axis=13、ascending=False4、json自定义函数提取数据5、apply6、concat7、join8、append9、groupbyas_index=Trueby10、value_counts1、set 与 unionset 是一个不允许内容重复的组合,而且set里的内容位置是随意的,所以不能用索引列出。可进行关系测试,删除重复数据,还可以计算交集、差集、并集等。a=[1,1,2,3,2,7,6,5,6,8,0,5,3]原创 2022-04-24 20:55:36 · 4267 阅读 · 1 评论 -
机器学习系列(6)_特征工程03碳排放小案例
文章目录一、归一化处理import numpy as npimport pandas as pdfrom scipy.cluster.vq import *import matplotlib.pyplot as pltfrom sklearn.manifold import TSNEfrom scipy.spatial.distance import cdistfrom matplotlib.ticker import MultipleLocatorfrom matplotlib impor原创 2022-04-21 19:18:42 · 4659 阅读 · 0 评论 -
机器学习系列(5)_特征工程02特征提取
文章目录#数据预处理,特征选择的目的是改善数据质量,体现数据的本质特征,降低计算成本,提升模型的表现。特征选择–主要分为三个模块:特征提取(Features Extraction):如从文本型数据提取日期型数据;从非结构化数据(文本,视频,音频等)提取数据。如:Web爬取等;特征创建(Features Creation):通过组合,计算等方法,得到原本不存在的特征(必须是合理的);特征选择(Features Selection):从所有特征中,选择对当前模型有价值的特征,必须要经过验证。&l原创 2022-04-19 07:42:52 · 1531 阅读 · 0 评论 -
机器学习系列(4)_数据分析之Kaggle鸢尾花iris
本篇博客参考链接:1、iris-经典案例解析-机器学习我们要解决的问题如下:已知鸢尾花iris分为三个不同的类型:山鸢尾花Setosa、变色鸢尾花Versicolor、韦尔吉尼娅鸢尾花Virginica,这个分类主要是依据鸢尾花的花萼长度、宽度和花瓣的长度、宽度四个指标(也可能还有其他参考)。我们并不知道具体的分类标准,但是植物学家已经为150朵不同的鸢尾花进行了分类鉴定,我们也可以对每一朵鸢尾花进行准确测量得到花萼花瓣的数据。那么问题来了,你女朋友家的一株鸢尾花开花了,她测量了一下,花萼长原创 2022-04-17 15:12:59 · 3794 阅读 · 1 评论 -
Python 双色球数据整理
文章目录一、数据整理1、修改表头2、增加时间列3、分割获奖号码4、使用正则表达式获取汉字地区一、数据整理import seaborn as snsimport numpy as npimport pandas as pdimport matplotlib as mplimport matplotlib.pyplot as plt%matplotlib inlineplt.rcParams['font.sans-serif']=['Microsoft YaHei'] # 用来正常显示中文标签原创 2022-04-16 16:00:19 · 971 阅读 · 3 评论 -
python 判断字符串当中是否包含字符(str.contain)
有一个ssqdatav2数据,要找到其中的深圳,并且替换成圳。因为收集到的数据出现了错误,本来只有省份简写的地方却出现了深圳。如何找到DF中包含深圳的数据?cond=ssqdatav2['first'].str.contains('深圳')ssqdatav2.loc[cond]此时就找到first当中包含深圳的数据。1、在first当中找到汉字# 为分解firstprize定义函数def fpp(x): if len(x)<=2: # 判断是否只有汉字,还是也有数字原创 2022-04-16 15:58:06 · 8294 阅读 · 0 评论 -
机器学习系列(3)_特征工程01数据预处理
参考链接:1、scikit-learn官方网站2、sklearn提供的自带的数据集3、Kaggle官网4、数据挖掘——无量纲化文章目录一、数据中台二、sklearn中的数据预处理与特征工程三、数据无量纲化(1)preprocessing.MinMaxScaler 归一化(2)preprocessing.StandardScaler 标准化(3)如何选择归一化和标准化四、缺失值处理(1)impute.SimpleImputer五、处理分类型特征:编码与哑变量(1)preprocessing.Labe原创 2022-04-11 09:12:38 · 2838 阅读 · 2 评论 -
机器学习系列(2)_数据分析之Kaggle电影TMDB5000
文章目录一、数据整理1. 电影类型随时间变化怎么样?2. 电影类型与利润的关系3. 电影的投入与利润的关系4. Universal和Paramount两家影视公司的对比情况如何?5. 改编电影和原创电影以及评分情况如何6. 电影时长与电影票房以及评分的关系7. 分析电影关键字8.分析演员的关联度(社会网络计算)9.分析演员的词云一、数据整理budget :电影成本genres:风格列表,按|分隔,最多5种风格homepage:电影首页URLid :电影IDkeywords:电影关键词,按|分隔,原创 2022-04-09 14:56:48 · 3695 阅读 · 2 评论 -
Python 将日期按年,月,日对数据进行分组归类及绘图
原创 2022-04-06 19:41:37 · 9892 阅读 · 2 评论 -
Python数据特征分析_02(相关系数,帕累托定律,周期性)
本篇博客主要以员工贡献度为例,分析不同菜品之间是否存在相关性。最典型的应用就是:啤酒和尿布销售之间的联系文章目录一、周期性分析二、贡献性分析三、相关性分析1、探究不同菜品之间的相关性2、探究不同学生之间的相关性一、周期性分析探索某个变量是否随着时间变化而呈现出某种周期性变化的趋势。时间尺度相对较长的周期性趋势有:年度周期性趋势,季节性周期性趋势,相对较短的有月度周期性趋势,周度周期性趋势,甚至更短的天,小时的周期性趋势。import pandas as pdimport matplotlib.py原创 2022-04-05 14:34:18 · 3012 阅读 · 0 评论 -
Python新冠疫情案例_02处理疫情数据中的异常以及丢失的数据
import seaborn as snsimport numpy as npimport pandas as pdimport matplotlib as mplimport matplotlib.pyplot as plt%matplotlib inlineplt.rcParams['font.sans-serif']=['Microsoft YaHei'] # 用来正常显示中文标签plt.rcParams['axes.unicode_minus']=False # 用来正常显示负号fr原创 2022-04-05 12:49:57 · 1962 阅读 · 0 评论 -
Python数据特征分析_01(MOOC学习时长分析)
本篇博客使用到的数据如下:通过分析每个学生的学习时长来分析学生的学习稳定性。(共有115人,每个人记录了11次的学习数据)文章目录一、分布分析1、定量数据分布分析2、绘制频率图二、对比分析1、绝对数对比2、差值折线图3、相对数对比4、比例分析5、空间比较分析6、动态比较分析三、统计量分析一、分布分析1、定量数据分布分析定量数据分布分析:主要是求极差将Excel数据导入之后赋值给x,令x3为最后一周的数据:x3=x['20220403']# 01.求极差R=x3.max()-x3.mi原创 2022-04-05 09:39:24 · 844 阅读 · 1 评论 -
numpy中的converters和usecols用法
用Python打开Excel数据,读取时需要将”学号“和“ID"转换成字符,以便后续操作df = pd.read_excel(path, converters={'学号': str, 'ID': str})以下是我的经历来体会:我在从Excel读入python的数据时,发现读出的是空值:import pandas as pd df=pd.read_excel("D:/Python/05DataMineML/2022STU(1).xlsx")df但是分明是有数据的,大概率出现的原因是sh原创 2022-04-04 14:22:46 · 5105 阅读 · 0 评论 -
Python pyecharts Line折线图
文章目录一、绘制折线图二、添加最小值最大值平均值三、竖线提示信息四、显示工具栏五、实心面积填充六、是否跳过空值七、折线光滑化八、多X轴九、阶梯图一、绘制折线图import seaborn as snsimport numpy as npimport pandas as pdimport matplotlib as mplimport matplotlib.pyplot as plt%matplotlib inlineplt.rcParams['font.sans-serif']=['Micr原创 2022-04-01 16:49:23 · 2420 阅读 · 0 评论 -
Python datacompy 找出两个DataFrames不同的地方
x表:让x1和x2都是x的副本,则此时x1和x2相同。x1=x.copy()x2=x.copy()原创 2022-03-28 23:12:55 · 4887 阅读 · 0 评论 -
Python绘制世界疫情地图
世界疫情数据下载请点击》》:疫情数据下载最终效果:下载需要的python包:!pip install echarts-countries-pypkg!pip install echarts-china-provinces-pypkg!pip install echarts-countries-china-cities-pypkgimport seaborn as snsimport numpy as npimport pandas as pdimport matplotlib as原创 2022-03-28 19:12:26 · 25265 阅读 · 43 评论 -
Python pyecharts Boxplot图
本篇博客只是单纯的记录一下自己学习Boxplot,没有过多的解释,官网:》》Boxplotimport seaborn as snsimport numpy as npimport pandas as pdimport matplotlib as mplimport matplotlib.pyplot as plt%matplotlib inlineplt.rcParams['font.sans-serif']=['Microsoft YaHei'] # 用来正常显示中文标签plt.rcPa原创 2022-03-27 16:39:12 · 1610 阅读 · 0 评论 -
pyechart 图表横标签倾斜
通过将横坐标倾斜,可以增加横坐标的显示内容:axislabel_opts={"rotate":50}效果:倾斜前倾斜后原创 2022-03-27 09:54:55 · 3140 阅读 · 1 评论 -
python 类型转换 object to datetime64[ns],timedelta64[ns] to float
如上图:原本这个dateframe当中的Date数据的类型是int加上下面这句话把alldfgbcountrysumv2换成自己的dataframe名即可:alldfgbcountrysumv2['Date']=pd.to_datetime(alldfgbcountrysumv2['Date']).dt.normalize()原创 2022-03-24 18:02:54 · 6831 阅读 · 0 评论 -
Python input 将输入的多个数据变成数组list(输入多个省份)
如下图,每输入一个元素就使用逗号分隔,则会将所有输入的元素变成一个list。a=list(input("请输入省份的拼音全称:").split(','))a原创 2022-03-23 20:26:06 · 5163 阅读 · 0 评论 -
Python pyecharts Bar图
本篇博客主要是针对pyecharts的bar图的一些代码的实战与解释,都是一些对官网的bar图的理解。》》pyecharts官网文章目录一、简介二、整理数据1、配置主题1、柱状图2、Bar - Bar_base_dict_config3、样例数据4、Bar - Bar_datazoom_slider一、简介关于具体详情,请咨询:pyecharts官网pyecharts是一个由百度开源的数据可视化,凭借着良好的交互性,精巧的图表设计,得到了众多开发者的认可。而Python 是一门富有表达力的语言,很适原创 2022-03-19 18:12:28 · 5467 阅读 · 1 评论 -
Python新冠疫情案例_01合并Excel文件
文章目录一、单目录下面的数据合并二、使用函数进行数据合并三、处理港澳台数据一、单目录下面的数据合并将2020下的所有文件进行合并,成一个文件:import requestsimport jsonimport openpyxlimport datetimeimport datetime as dtimport timeimport pandas as pdimport csvfrom openpyxl import load_workbookfrom sqlalchemy impo原创 2022-03-19 13:32:56 · 1569 阅读 · 1 评论 -
Python matplotlib plotly
文章目录一、整理数据二、折线图三、散点图四、饼图五、柱形图六、点图(设置多个go对象)一、整理数据以300部电影作为数据源import pandas as pd cnboo=pd.read_excel("cnboNPPD1.xls")cnboo import seaborn as snsimport numpy as np import matplotlib as mplfrom matplotlib import pyplot as plt import pandas as pd原创 2022-03-15 23:16:22 · 2315 阅读 · 0 评论 -
Python词云
先来看看最终效果:注:做词云时如果使用中国地图,那必须确保中国的领土完整哦,千万不能缺少了边界线或者某些沿海省份之类的。文章目录一、数据整理一、数据整理以下的数据下载都是在我的gitee中的:字词数据下载:Excel数据字体下载:字体地图下载:中国地图调色盘颜色下载:玉门关的蓝色主要目的:根据项目名称分析其中词频高的数据来制作词云import pandas as pd skdfsorttjfilter =pd.read_csv("skdfsorttjfilter.csv",e原创 2022-03-13 09:23:12 · 1495 阅读 · 0 评论