
数据科学--python
专栏定位 本专栏致力于为广大数据科学爱好者、初学者和专业人士提供一个学习、交流和分享的平台,重点介绍Python在数据科学领域的应用,包括数据处理、数据分析、数据可视化、机器学习、深度学习等方面的知识。
东华果汁哥
大家好!我叫赖德发,欢迎您来到我的博客。
展开
-
【modbus python】python读取modbus 协议数据
要使用Python从Modbus IP地址40018读取数据,您可以使用pymodbus库。这是一个流行的库,用于实现Modbus客户端和服务器的通信。以下是一个简单的示例,展示了如何使用pymodbus库从Modbus IP服务器上的地址40018读取数据。首先,确保您已经安装了pymodbus库。原创 2024-07-01 17:38:56 · 1012 阅读 · 0 评论 -
【python VLC】python+VLC+RTSP播放视频
要在Python中使用VLC播放RTSP视频流,你可以使用vlc-python库。原创 2024-04-01 15:11:54 · 1269 阅读 · 0 评论 -
【python doris】python连接doris数据库,并查询返回数据框
连接Doris数据库时,由于Doris与MySQL协议兼容,因此可以使用与MySQL兼容的Python库。pymysql是一个Python编写的MySQL客户端库,由于Doris与MySQL协议兼容,因此可以直接使用pymysql来连接Doris数据库。方法,它接受一个SQL查询和一个数据库连接对象,然后直接将查询结果转换为DataFrame。然后,您可以使用以下Python代码连接到Doris数据库,执行查询,并将结果转换为。在Python中,您可以使用。在上面的代码中,我们使用了。原创 2024-03-28 09:37:51 · 3717 阅读 · 0 评论 -
【anaconda 离线】离线迁移虚拟环境model
将打包好的tar.gz文件和Anaconda虚拟环境所需的所有依赖库传输到目标服务器上。可以使用U盘等物理存储介质进行传输。其中,/path/to/download/dir为依赖库所在的本地文件路径,requirements.txt为依赖库列表。在Anaconda虚拟环境中安装依赖库。其中,env_name为Anaconda虚拟环境的名称。在新服务器上测试模型是否正常运行。原创 2023-05-10 10:11:43 · 996 阅读 · 0 评论 -
【APscheduler 】Execution of job “run_job (trigger: cron[minute=‘0-59‘], next run at: 2023-04-11 18:47
这是因为APScheduler在默认情况下使用的是BlockingScheduler,即阻塞调度器,它会在单个线程中按照设定的规则执行定时任务。另外,如果你需要同时运行较多的任务,可以考虑使用ThreadPoolExecutor或ProcessPoolExecutor来增加线程或进程池的大小,从而提高任务并发处理能力。解决这个问题的一种方法是使用BackgroundScheduler,即后台调度器,它会在后台启动一个或多个线程来运行任务,可以有效地避免上述问题。原创 2023-04-25 17:37:42 · 1098 阅读 · 0 评论 -
【python 错误】ValueError: unsupported format character ‘Y‘ (0x59) at index 1363
将DATE_FORMAT(CREATE_TIME, ‘%Y-%m-%d’) 修改为DATE_FORMAT(CREATE_TIME, ‘%%Y-%%m-%%d’) 即可。因为python执行的sql中存在类似DATE_FORMAT(CREATE_TIME, ‘%Y-%m-%d’) 的写法,其中%Y与python的参数%s冲突。原创 2022-12-09 08:31:22 · 747 阅读 · 0 评论 -
【pip 安装】pip升级或者一键安装
windows 升级piplinux 升级 pip原创 2022-12-03 10:06:30 · 907 阅读 · 0 评论 -
【conda 环境迁移】Solving environment: failed ResolvePackageNotFound
环境配置文件是在别的机器上导出的,文件里的软件包是按照那个机器配置的,导出的时候,把这些包的详细信息也导了出来。解决方案:删除包的具体信息,即包名称第二个等号及后面的内容。......原创 2022-08-27 15:44:12 · 2886 阅读 · 2 评论 -
【python turtle画图】太极图绘制实例
turtle 画图,使用Python画出太极阴阳八卦图的代码# -*- coding: utf-8 -*-import turtle as t# 设置背景和笔的移动速度及大小t.bgcolor('yellow')t.speed(10)t.pensize(6)# 画黑色的半圆t.fillcolor("black")t.begin_fill()t.circle(100,180)t.left(0)t.circle(50,180)t.circle(-50,180)t.end_fil原创 2022-04-19 11:01:12 · 5391 阅读 · 0 评论 -
【pcdet 安装】pcdet包安装问题
更换源pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple1、拷贝本工程git clone https://github.com/sshaoshuai/PCDet.git12、安装依赖包pip install -r requirements.txt 13、安装pcdet库python setup.py develop...原创 2022-04-05 20:58:06 · 620 阅读 · 0 评论 -
【python 数据合并】1招教你csv文件合并成一个大文件
需求分析:将同一个文件夹下所有csv 合并成一个大文件,并计算各列最大值,最小值,标准偏差。解决方案:# -*- coding: utf-8 -*-import pandas as pdimport ossave_path='D:/Programs/数据项目/csv文件合并/合并前/'save_merge_path='D:/Programs/数据项目/csv文件合并/合并后/'df1 = pd.DataFrame()for parent, dirnames, filenames in原创 2022-04-04 19:08:48 · 2494 阅读 · 0 评论 -
【python 日志模块】Python 日志模块详解及具体应用
查看日志是开发人员日常获取信息、排查异常、发现问题的最好途径,日志记录中通常会标记有异常产生的原因、发生时间、具体错误行数等信息,这极大的节省了我们的排查时间,无形中提高了编码效率。我们可以按照输出终端进行分类,也可以按照日志级别进行分类。输出终端指的是将日志在控制台输出显示和将日志存入文件;日志级别指的是 Debug、Info、WARNING、ERROR以及CRITICAL等严重等级进行划分。# -*- coding: utf-8 -*-import logginglogging.basicC原创 2022-03-24 16:42:04 · 1594 阅读 · 0 评论 -
【python nc文件】10分钟教你python读取nc文件
对于做海洋数据处理的同学,会经常遇到nc格式的文件,nc文件的格式全称是NetCDF.NetCDF文件可以存储多维数据,通过包含地理空间图像、栅格、地形数据、气候数据和文本的数组来存储不同类型的数据。这些数组支持元数据,使netCDF格式具有高度灵活性。NetCDF是由UCAR开发的,UCAR负责维护支持使用该格式的标准和软件。气候数据通常有3个维度x和y分别代表地球表面和时间上某个点或网格单元的经纬度位置,第三个维度通常存储温度、湿度、降水量或风向等数据值。我们可以使用netCDF4 读取NC格式文原创 2022-01-29 11:28:32 · 24318 阅读 · 0 评论 -
【python pywin32】import win32api ImportError: DLL load failed: 找不到指定的程序。
启动jupiter 发生错误。解决办法:pip install pywin32==223原创 2021-12-17 16:26:44 · 1011 阅读 · 0 评论 -
【机器学习 pycaret神器】PyCaret是一个超级有用的Python库
PyCaret是一个超级有用的Python库,使用PyCaret构建机器学习模型。用于在短时间内执行多个机器学习任务,依赖PyCaret在几行代码中可以构建复杂的机器学习模型,适合数据分析和新手小白,不需要写太多代码,也适合入门的算法工程师。PyCaret是Python中一个开源的机器学习库,它可以帮助你从数据准备到模型部署。它很容易使用,你可以用一行代码完成几乎所有的数据科学项目任务。PyCaret非常方便。以下是两个主要原因:PyCaret是一个代码库,它使你的工作效率更高。你可以在代码上花更少的原创 2021-12-17 16:15:30 · 2864 阅读 · 0 评论 -
【python pdf 文件下载】给定pdf url下载pdf文件
python从url获取pdf文件并保存在本地,主要思路如下:1、借助requests下载文件2、将文件转换为字节流3、将字节流保存在本地# -*- coding: utf-8 -*-import ioimport requestsdef download_pdf(save_path,pdf_name,pdf_url): send_headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)原创 2021-12-16 00:57:58 · 9455 阅读 · 2 评论 -
【pandas 数据框操作】dataframe中如何筛选列包含特定字符串
dataframe的某一列均为字符串格式,想筛选出含有特定字符串的行,具体实现代码如下:data1=df[df['标题'].str.contains('摘要')]#这是使用语法,模糊匹配df[ df['通信名称'].str.contains('联通|移动|小灵通|电信')] #这一种方法不是匹配,而是等于后面列表中的值,要注意区别df[ df['通信名称'].isin(['联通','移动','小灵通','电信'])]包含的字符串比较多时就用’|‘管道符隔开那如果是不包含呢,取出不包含这些原创 2021-12-16 00:27:33 · 18418 阅读 · 3 评论 -
【python 数据框apply】数据框多列计算调用apply函数
自行创建文本文件score.txt,其中存储了如下所示若干学生的姓名、学号和3门考试课的成绩。编程将所有两门以上(含两门)课程不及格的学生信息输出到文件 fail.txt、其他学生信息输出到pass.txt。张三,10086,66,77,88李四,10087,87,87,78王二,10088,65,47,88麻子,10089,30,20,88这里我们用数据框来操作,先统计三门课不及格的科目。再调用数据框的apply 函数。(很有用的函数哦)# -*- coding: utf-8 -*-imp原创 2021-12-15 10:11:38 · 1485 阅读 · 0 评论 -
【python 执行JS脚本】python下PyExecJS执行JS脚本
pip install PyExecJS from: zhto: enquery: 你好,世界transtype: translangsimple_means_flag: 3sign: 933122.712243token: dbd20560b74a43d1c5c2aec1401ce885domain: common完整代码如下:# -*- coding: utf-8 -*-import execjswd="你好,世界"#取sign,用到了execjs模块def getS原创 2021-12-14 11:15:20 · 1768 阅读 · 0 评论 -
【python pycld3安装】win 10安装python库pycld3报错
报错信息:需要protoc,从python 扩展安装包里面只找到了pycld2既然我们想要安装pycld3,那么如何解决呢?是不是就没有办法呢?1、下载 protoc 工具 下载地址2、解压后将bin 目录下的 protoc.exe 放在安装python 的 Scripts目录下3、再次运行 pip install pycld3依然报错: c:\users\laidefa\appdata\local\temp\pip-install-yzgy87qq\pycld3_c3ccca39f原创 2021-12-10 11:30:55 · 1676 阅读 · 0 评论 -
【wondws bat命令】windows 关闭指定cmd 窗口命令
windows 10 下 通过编写bat命令,关闭正在运行的窗口。并重启。@echo offset CLASSPATH=%CLASSPATH%; set PATH=%PATH% set JAVA_HOME=%JAVA_HOME%E:taskkill /f /im supervisord.execd E:\supervisordsupervisord.exe@pause这段代码的意思是先kill 掉进程窗口,再重启进程windwow10 查看进程的命令,tasklist原创 2021-12-09 10:02:23 · 7082 阅读 · 0 评论 -
【windows 定时任务开启】windows 定时执行python脚本和java脚本
linux 下可以通过crontab 定时任务设置,那么windows 下该如何实现定时任务呢?下面我们一起学习下windows的操作。1、假如要执行java程序,可以先把执行java的程序先编译好,在编译好的目录新建一个bat文件。如:rtsp.bat@echo offset CLASSPATH=%CLASSPATH%; set PATH=%PATH% set JAVA_HOME=%JAVA_HOME%d:cd D:\java_project \java rtspexit@pa原创 2021-12-06 15:29:58 · 885 阅读 · 0 评论 -
【python 项目打包】对python程序打包成exe文件
python打包成exe文件的方法方法1:常规骚操作,pyinstaller 打包,前提需要安装pyinstaller,进入项目路径进行打包操作(命令方式)pip install pyinstallerpyinstaller.exe --onefile --windowed main.py (单文件,单窗口)pyinstaller.exe --noconsole --onedir --windowed main.py (多文件,多窗口)Pyinstaller -F -i xx.ico原创 2021-12-06 11:05:49 · 5210 阅读 · 0 评论 -
【python mat文件】python中如何读写mat文件
目标:python读写matlab .mat 矩阵文件。读操作需要导入scipy.io模块中的loadmat:核心: x1=loadmat(file_path+'%s'%file_name)写操作需要导入 scipy.io 模块中的 io:核心: io.savemat(save_mat_path+'%s'%file_name, {'name': x2})完整例子:# -*- coding: utf-8 -*-from scipy.io import loadmatimport sc原创 2021-12-06 10:54:46 · 635 阅读 · 0 评论 -
【python selenium 渲染工具】webdriver设置无界面化以及配置参数
上一篇文章介绍了【python selenium 渲染工具】driver = webdriver.Chrome()报错这篇文章我们继续学习下selenium 这个自动化工具webdriver的配置和设置# -*- coding: utf-8 -*-import jsonfrom selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsimport chardet# url="https://原创 2021-12-02 18:45:15 · 1343 阅读 · 0 评论 -
【python selenum渲染工具】driver = webdriver.Chrome()报错
driver = webdriver.Chrome()是因为没有chromedriver.exe这个文件解决方法:(1)下载一个chromedriver.exe 下载的链接为:官方下载网站点击第一个,点进去(浏览器要跟这个版本对应上)windows 只有一个32位的,没关系,32位的也可以用。下载下来解压,里面有一个 chromedriver.exe文件,将这个文件放在你运行pthon 安装路径的Scripts下面如我的是这个路径:D:\Programs\Python\Python3.原创 2021-12-02 10:44:55 · 1223 阅读 · 0 评论 -
【python 爬虫乱码】request请求返回json乱码如何解决
请求网页返回json 往往出现乱码,那么如何解决呢,举个例子,# -*- coding: utf-8 -*-import requestsimport jsonurl="https://www.phei.com.cn/module/goods/zxsj.jsp?cache=true&cacheKey=wssd_Rec_New_%E8%AE%A1%E7%AE%97%E6%9C%BA&shownum=8&type=%E8%AE%A1%E7%AE%97%E6%9C%BA"con原创 2021-12-02 10:19:43 · 3050 阅读 · 0 评论 -
【python 油价爬虫】杭州油价爬虫出现byte乱码问题解决
使用request.get() 发起请求,返回结果竟然是byte 开头的 乱码,该如何解决呢?乱码转换关键:typeEncode = sys.getfilesystemencoding()infoencode = chardet.detect(content).get('encoding', 'utf-8')html = content.decode(infoencode, 'ignore').encode(typeEncode)res=html.decode('ascii',errors='ig原创 2021-12-01 10:10:30 · 718 阅读 · 0 评论 -
【python 错误】next run at: 2021-11-04 14:24:30 CST)“ skipped: maximum number of running instances reach
当我们使用from apscheduler.schedulers.blocking import BlockingSchedulerBlockingScheduler调度任务时,出现如下错误:next run at: 2021-11-04 14:24:30 CST)" skipped: maximum number of running instances reached (1)如何解决:将max_instances设置大一点。sched.add_job(run_job, 'cron', min原创 2021-11-19 21:14:59 · 2290 阅读 · 0 评论 -
【python ascii码转中文】1分钟教你编码转换
核心:ascii 转中文print(name.encode().decode('unicode_escape'))一开始发起请求:information = requests.get(information_url,headers=header).textprint(information)出现乱码,经过查看发现是ascii 码information信息如下:jQuery191040122200903040794_1635653294983({"status":1,"err_code":原创 2021-11-01 12:16:29 · 7339 阅读 · 0 评论 -
【python 下载神器】你应该知道的下载神器you-get
you-get是基于python的下载工具,解析的网站有很多,可以下载各大网站的视频、图片和音乐。you-get是一款支持众多网站视频下载的神器,既可以在命令提示符中操作,也可以在Python代码中运行。功能非常强大。如果你电脑装了python,那么只需要安装如下依赖包即可以。安装包:pip install you-get这个工具支持下载的视频 有抖音,斗鱼,哔哩哔哩,豆瓣,百度视频,优酷,腾讯视频,新浪视频等等下面我们来具体演示下操作:1、下载bilibili 视频C:\Users\lai原创 2021-08-22 11:47:45 · 1892 阅读 · 1 评论 -
【python 调用webserver】python请求调用webservices接口方法
python webservice接口调用,可以用requests包发起post请求方式,此方法稍微区别是data是XML格式数据。config.pyfrom hashlib import md5import datetime# 请求地址url="http://10.66.3.19:6039/BaseDataService.asmx"# XML请求参数#时间戳# timeStamp=datetime.datetime.now().strftime('%Y%m%d%H%M%S')tim原创 2021-04-12 18:52:16 · 1624 阅读 · 0 评论 -
【python 求解方程组】10分钟教你python求解多元一次方程组
python 求解三元一次方程组,三元一次方程组为:k00+k11*2+k22*5=11k00+k11*7+k22*6=2k00+k11*6+k22*9=7demo:from sympy import *k00 = Symbol('k00')k11 = Symbol('k11')k22 = Symbol('k22')# 解三元一次方程f0=k00+k11*2+k22*5-11f1=k00+k11*7+k22*6-2f2=k00+k11*6+k22*9-7r = solv原创 2021-03-04 15:39:08 · 3868 阅读 · 2 评论 -
【技术 美团】美团2020技术年货,1300+页电子书
无意中发现了一个巨牛的人工智能教程,忍不住分享一下给大家。教程不仅是零基础,通俗易懂,而且非常风趣幽默,像看小说一样!觉得太牛了,所以分享给大家。点这里可以跳转到教程。人工智能教程2020年,美团技术公众号发布了60多篇技术文章以及10多篇国际顶会论文,美团将它整理成一本厚达1300多页的电子书。大家可以去下载看看。这本电子书内容覆盖前端、后台、算法、数据、运维、安全等多个领域, 希望对同学们的工作和学习有所帮助,如下图。获取地址:2020美团技术年货-合集:http://dpurl.cn/uu原创 2021-03-03 10:22:56 · 1073 阅读 · 0 评论 -
【python socket】基于TCP协议的socket
tcp是基于链接的,必须先启动服务端,然后再启动客户端去链接服务端服务端:import socketsk = socket.socket()#把地址绑定到套接字sk.bind(('127.0.0.1',8897))#监听链接sk.listen()#接受客户端链接conn,addr = sk.accept()# 接收客户端信息ret = conn.recv(1024)#打印客户端信息print(ret.decode('utf-8'))# 向客户端发送信息conn.send(b.原创 2021-03-02 14:24:27 · 211 阅读 · 0 评论 -
【python protobuf】python将protobuf序列化与反序列化byte字节流
如何protobuf序列化数据,见上一篇:基于protobuf协议将json转化为pb string,将pb string转成json下面这篇文章介绍如何序列化与反序列化 byte字符串,跟上一篇文章稍微不一样。from example import openrtb_pb2from google.protobuf import json_formatimport jsonimport datetimedef pb_to_json(pbStringRequest): """将pbstri原创 2021-03-01 17:08:47 · 5565 阅读 · 0 评论 -
【python kafka】python将protobuf序列化数据写入kafka
如何protobuf序列化数据,见上一篇:【python protobuf序列化】python中如何protobuf与json互相转换下面这篇文章研究如何将json序列化之后protobuf格式之后,按照byte字节流的方式写入kafkafrom kafka import KafkaProducerimport jsonimport datetimefrom example import openrtb_pb2from google.protobuf import json_formatim原创 2021-02-24 15:28:42 · 1632 阅读 · 2 评论 -
【python protobuf序列化】python中如何protobuf与json互相转换
一、protobuf下载安装下载地址:https://github.com/protocolbuffers/protobuf/releases电脑系统是windows10, 下载protoc-3.15.2-win64.zip 解压到相应的目录D:\Program Files下,然后配置环境变量pathD:\Program Files\bin 加入path二、新建目录example新建文件openrtb.proto 内容如下:syntax = "proto3";package prot原创 2021-02-24 14:55:29 · 10967 阅读 · 2 评论 -
【python kafka】python 连接kafka速成
Python Kafka Client有三种方式:pykafka、kafka-python 和 confluent-kafka,具体介绍见官网:pykafka: https://pypi.org/project/pykafka/kafka-python: https://pypi.org/project/kafka-python/confluent_kafka: https://pypi.org/project/confluent-kafka/安装包:pip install pykafkapi.原创 2021-02-23 15:46:04 · 1056 阅读 · 0 评论 -
【python 画图】Python-matplotlib-中文字体显示和设置
字体需要显示中文,需要加上下面这三句:import matplotlib.pyplot as plt# 设置matplotlib正常显示中文和负号plt.rcParams['font.sans-serif']=['SimHei'] # 用黑体显示中文plt.rcParams['axes.unicode_minus']=False # 正常显示负号相关性热力图import pandas as pdimport seaborn as snsimport matplotlib.py原创 2021-01-27 14:23:01 · 2178 阅读 · 0 评论