
Python
文章平均质量分 59
data-life
这个作者很懒,什么都没留下…
展开
-
Python程序打包成exe可执行文件
PyInstaller其实就是把python解析器和你自己的脚本打包成一个可执行的文件,和编译成真正的机器码完全是两回事,所以千万不要指望成打包成一个可执行文件会提高运行效率,相反可能会降低运行效率,好处就是在运行者的机器上不用安装python和你的脚本依赖的库。如果你的myscript.py脚本中用了已编译的C扩展模块,那么这些模块也会被拷贝在个子目录中,同样,所有的dll文件在运行时都是需要的,除了系统的dll文件。需要注意的是,PyInstaller打包的执行文件,只能在和打包机器系统同样的环境下。.转载 2022-08-16 10:21:57 · 870 阅读 · 0 评论 -
TypeError: argument should be integer or bytes-like object, not ‘str‘
报错:TypeError: argument should be integer or bytes-like object, not 'str'解决方案:tn.write(password.encode('ascii') + b"\n")解决办法:在字符串前加上b。原创 2022-08-11 16:52:15 · 2230 阅读 · 0 评论 -
Pycharm报错Non-zero exit code (2)的完美解决方案
Python版本为3.7,pip版本为22.2.2,该版本的。(不建议升级pip,因为新版本的pip都有可能会出现同样的问题)版本降级为20.2.4即可,操作方法参见下方的。模块安装在指定目录即可;模块路径的问题,那么到底是什么原因呢?一定会出现该问题,解决方案也很简单...原创 2022-08-11 10:14:45 · 851 阅读 · 0 评论 -
CentOS安装Python3
一、查看CentOS版本1、查看已安装的CentOS版本信息:[root@HadoopLinux ~]# cat /proc/versionLinux version 3.10.0-862.14.4.el7.x86_64 (mockbuild@kbuilder.bsys.centos.org) (gcc version 4.8.5 20150623 (Red Hat 4.8.5-28) (GCC) ) #1 SMP Wed Sep 26 15:12:11 UTC 2018[root@HadoopL原创 2022-05-06 16:02:41 · 836 阅读 · 0 评论 -
如何使用Python对时间段内的行进行分组
我有一些交易。我想根据它们的item和time列值对这些事务进行分组:目标是对彼此相距不超过1小时的项进行分组。所以我们在下一次观察的时候开始一个新的小组,这个小组不在之前观察的一个小时之内(见DataFrameB中的start time)。在数据如下:我要将A转换为B。在A=item time resultA 2016-04-18 13:08:25 YA 2016-04-18 13:57:05 NA 2016-04-18 14:00:12转载 2022-04-25 16:52:00 · 978 阅读 · 0 评论 -
SqlAlchemy使用
Date:2016-03-27Title:20.Python笔记之SqlAlchemy使用Tags:pythonCategory:Python作者:刘耀博客:www.liuyao.me一、SQLAlchemySQLAlchemy是Python编程语言下的一款ORM框架,该框架建立在数据库API之上,使用关系对象映射进行数据库操作,简言之便是:将对象转换成SQL,然后使用数据API执行SQL并获取执行结果。ORM方法论基于三个核心原则:简单:以最基本的形式建模数据。传达性.转载 2021-03-10 09:16:54 · 713 阅读 · 0 评论 -
pd.to_sql()使用方法
to_sql 使用方法:参见pandas.to_sql函数,主要有以下几个参数: name: 输出的表名 con: 与read_sql中相同,数据库链接 if_exits: 三个模式:fail,若表存在,则不输出;replace:若表存在,覆盖原来表里的数据;append:若表存在,将数据写到原表的后面。默认为fail index:是否将df的index单独写到一列中 index_label:指定列作为df的index输出,此时index为True ch...转载 2021-03-04 11:53:15 · 5337 阅读 · 0 评论 -
MemoryError: Unable to allocate 143. MiB for an array with shape (14, 1342462) and data type float64
解决思路有两个:1、加大Windows系统虚拟内存,这个方案治标不治本。2、将数据有float64改为float32,这个方案可以从根本上减少对内存的占用。知识点:Python中float类型、float32类型和float64类型的表示精度,所需内存及其之间的转换1. 表示精度和所需内存float类型和float64类型是一样的,都需要64个bits,而float32需要32个bits。精度方面,float类型和float64类型在十进制中可以有16位,而float32类型在十进制中原创 2021-02-08 16:44:55 · 9899 阅读 · 0 评论 -
Python使用cx_Oracle模块操作Oracle数据库详解
这篇文章主要介绍了Python使用cx_Oracle模块操作Oracle数据库,结合实例形式较为详细的分析了cx_Oracle模块的下载、安装及针对Oracle数据库的连接、执行SQL语句、存储过程等相关操作技巧,需要的朋友可以参考下本文实例讲述了Python使用cx_Oracle模块操作Oracle数据库。分享给大家供大家参考,具体如下:ORACLE_SID参数,这个参数是操作系统中用到的,它是描述我们要默认连接的数据库实例,对于一个机器上有多个实例的情况下,要修改后才能通过 conn / as转载 2021-01-10 08:08:10 · 2297 阅读 · 0 评论 -
pandas学习笔记—dataframe中的数据类型和相互转换
常见的dataframe中的数据类型包括以下:Data type Descriptiondatetime64[ns] 日期时间数据类型str 字符类型object 一种通用的数据类型,在没有明确指定类型下,所有数据都可认为是object类型bool_ Boolean (True or False) stored as a byteint_ Default integer type (same as C long; normally either int64 or in转载 2021-01-10 08:01:02 · 6914 阅读 · 0 评论 -
dataframe 按条件筛选行
使用Pandas对数据进行筛选和排序转自:http://bluewhale.cc/2016-08-06/use-pandas-filter-and-sort.html筛选和排序是Excel中使用频率最多的功能,通过这个功能可以很方便的对数据表中的数据使用指定的条件进行筛选和计算,以获得需要的结果。在Pandas中通过.sort和.loc函数也可以实现这两 个功能。.sort函数可以实现对数据表的排序操作,.loc函数可以实现对数据表的筛选操作。本篇文章将介绍如果通过Pandas的这两个函..转载 2021-01-10 05:59:09 · 9427 阅读 · 0 评论 -
使用前面的非None项替换python列表中的None值?
我有一个名为Headings的python列表:Headings = ['Doug', None, None, None, None, 1234, None, None, 'Mike', None]我想得到的是None值被替换为前面的字符串或数字,并且最接近None值,如下所示:Headings=['Doug', 'Doug', 'Doug', 'Doug', 'Doug', 1234, 1234, 1234, 'Mike', 'Mike']我该怎么做?还有最初的标题清单..转载 2021-01-10 05:06:46 · 1850 阅读 · 0 评论 -
python-将DataFrame中的 pandas 系列从字符串(财务缩写)转换为数字
我正在尝试从NOAA解析风暴数据.经过一些清理和解析后,我剩下一个DataFrame,就像这样:import pandas as pddata = { 'ID' : [1, 2, 3, 4, 5, 6], 'EVENT_TYPE': ['Flood', 'Hail', 'Fire', 'Tornado', 'Flood', 'Fire'], 'Property_Damage': ['2.5K', 0, '.4M', "1.00K", NaN, "1.转载 2021-01-10 04:53:03 · 4799 阅读 · 0 评论 -
pandas numpy处理缺失值,none与nan比较
原文链接:https://junjiecai.github.io/posts/2016/Oct/20/none_vs_nan/建议从这里下载这篇文章对应的.ipynb文件和相关资源。这样你就能在Jupyter中边阅读,边测试文中的代码。python原生的None和pandas, numpy中的numpy.NaN尽管在功能上都是用来标示空缺数据。但它们的行为在很多场景下确有一些相当大的差异。由于不熟悉这些差异,曾经给我的工作带来过不少麻烦。 特此整理了一份详细的实验,比较None和NaN在不同场景下的转载 2021-01-10 03:58:46 · 1132 阅读 · 0 评论 -
pycharm cx_oracle查询出来的中文显示为问号
在pycharm中使用cx_oracle查询数据库信息时,反馈的数据中带有中文时,显示?排查过程:查询字符集select userenv('language') from dual查询结果:AMERICAN_AMERICA.ZHS16GBK解决方案:import os# 设置系统环境变量os.environ['NLS_LANG'] = 'SIMPLIFIED CHINESE_CHINA.UTF8'...原创 2021-01-09 06:45:19 · 427 阅读 · 0 评论 -
selenium之find_element_by_xpath定位元素
selenium之find_element_by_xpath定位元素 一 方法selenium为定位元素提供了较多方法,大致分为单元素定位和多元素定位.# 查找单个元素:find_element_by_idfind_element_by_namefind_element_by_xpathfind_element_by_link_textfind_element_by_partial_link_textfind_element_by_tag_namefind_element_转载 2020-12-30 15:04:22 · 3027 阅读 · 2 评论 -
find_element_by_xpath()的6种方法
Xpath (XML Path Language),是W3C定义的用来在XML文档中选择节点的语言一:从根目录/开始有点像Linux的文件查看,/代表根目录,一级一级的查找,直接子节点,相当于css_selector中的>号/html/body/div/p二. 根据元素属性选择:查找具体的元素,必须在前面输入标准开头//,表示从当前节点寻找所有的后代元素//div/* div下面的所有的元素//div//p 先在整个文档里查找div,再在div里查找...转载 2020-12-30 15:03:28 · 5408 阅读 · 0 评论 -
dataframe.to_csv()中文乱码
今天又遇到了dataframe.to_csv()然后文件里的中文乱码了。1、首先吧dataframe.to_csv(“file_name” ,encoding = ‘utf-8’)结果乱码依旧。2、上网查了下,改成了dataframe.to_csv(“file_name” ,encoding = ‘utf_8_sig’)结果乱码依旧3、然后改成了dataframe.to_csv(“file_name” ,encoding = gbk’)终于不再乱码了,如果大家遇到这个问题,可以纷纷试试以上几种编转载 2020-12-30 08:12:23 · 3298 阅读 · 0 评论 -
微信Dat文件解码
最近在整理磁盘文件,因为经过一段时间的蹂躏后,磁盘实在是太多东西了,不整理一下,简直对不住我的SSD好嘛。偶然发现磁盘中某公司的文件夹占用空间简直不能再大,那可是我的C盘啊,合计才119GB的SSD空间,你给我占了差不多10个G,说的就是你Tencent。但是也不能怪人家,毕竟人家只是负责将数据保存下来方便给我们展示而已。所以,就冒着好奇的心,看看文件夹里面有什么。因为这次的主题说的是Dat文件的解密,我就不扯那么远。大家假装知道我点完文件夹,看到很多历史图片缓存图片众多*...转载 2020-12-27 08:37:47 · 4274 阅读 · 0 评论 -
用Python和FFmpeg查找大码率的视频文件
本文使用Python2.7, 这个工作分两步遍历目录下的视频文件 用ffprobe获取是视频文件的码率信息用ffprobe 获取json格式的视频信息用ffprobe.exe是FFmpeg自带的查看视频信息的工具。其获取json格式的信息命令例如以下ffprobe -v quiet -print_format json -show_format -show_streams -i filename这个命令会输出 带有 streams和format项的json结构Python读取jso转载 2020-12-25 23:33:00 · 347 阅读 · 0 评论 -
python 时间控制的几种方式
https://blog.youkuaiyun.com/qq_36867011/article/details/86533326第一种:#=================================================================#先等待10分钟后再执行,每1小时后执行一次##=================================================================import threadingdef printHell.转载 2020-10-09 07:34:33 · 567 阅读 · 0 评论 -
几种Python执行时间的计算方法
转自:https://blog.youkuaiyun.com/wangshuang1631/article/details/54286551感谢:wangshuang1631首先说一下我遇到的坑,生产上遇到的问题,我调度Python脚本执行并监控这个进程,python脚本运行时间远远大于python脚本中自己统计的程序执行时间。监控python脚本执行的时间是36个小时,而python脚本中统计自己执行的时间是4个小时左右。问题暴漏之后首先想到的是linux出了问题,查找各种日志未发现有何异常。然后.转载 2020-10-09 07:31:38 · 4545 阅读 · 1 评论 -
selenium.common.exceptions.TimeoutException: Message: timeout: Timed out receiving message from rend
最近跑自动化测试时遇到的问题,先放到这,后续再深入研究"C:\Program Files\python\python.exe" F:/python/Login—.pyTraceback (most recent call last): File "F:/python/Login—.py", line 28, in <module> driver.get(url_1) File "C:\Program Files\python\lib\site-packages\seleni...原创 2020-10-09 07:22:58 · 6223 阅读 · 10 评论 -
Selenium-webdriver Chrome实战
什么是seleniumselenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等。selenium 是一套完整的web应用程序测试系统,包含了测试的录制(selenium IDE),编写及运行(Selenium Remote Control)和测试的并行处理(Selenium Grid)。Seleni转载 2020-09-01 13:49:22 · 3444 阅读 · 0 评论 -
Python读写csv文件
前言逗号分隔值(Comma-Separated Values,CSV,有时也称为字符分隔值,因为分隔字符也可以不是逗号),其文件以纯文本形式存储表格数据(数字和文本)。纯文本意味着该文件是一个字符序列,不含必须像二进制数字那样被解读的数据。CSV文件由任意数目的记录组成,记录间以某种换行符分隔;每条记录由字段组成,字段间的分隔符是其它字符或字符串,最常见的是逗号或制表符。通常,所有记录都有完全相同的字段序列.特点读取出的数据一般为字符类型,如果是数字需要人为转换为数字 以行为单位读取数据转载 2020-05-29 00:06:28 · 301 阅读 · 0 评论 -
Python在一个列表中查找不在另一个列表中的元素
一、问题场景:要比较两个列表list_A、list_B,以便创建一个新列表,新列表中存储list_B元素没有出现在list_A中的内容。例如:new_list=[]list_A=["a", "b", "c", "d", "e"]list_B=["b", "d", "f", "m"] 结果应该是:new_list=["f", "m"]二、分析思路:方案一:利用列表循环的方法,将list_B中的元素在list_A中进行循环查找,将不再列表list_A中的元素识别出来,这个方案原创 2020-05-28 23:58:16 · 15537 阅读 · 0 评论 -
通过使用cx_oracle报错带来的知识点学习
一、问题描述:python下使用cx_oracle模块查询oracle数据库的数据,代码如下,遇到的问题是在执行第二段代码时,始终没有数据,但实际上查询的结果集是有数据的。sql_hotslab_count = "select count(EF_TEMP) from (select EF_TEMP, SYSTIME from user.table1 t where 1=1 " \ " AND t.SYSTIME >= to_date(:1,'yyyy...原创 2020-05-24 09:25:57 · 314 阅读 · 0 评论 -
python每天固定时间运行某程序代码
一、场景描述:有一段python程序需要在制定的时间运行。二、解决方案:方案一:利用windows系统自带的计划任务来实现该功能,定好时间后,每天固定时间调用要执行的python程序,然后实现想要的目标。方案二:利用python程序自己运行time模块,与设定时间按进行比较,等于要执行的时间时,执行程序。三、具体方法:方案一比较简单,就不再详细描述了,重点说一下方案二。用python中的time模块取出当前时间,然后与指定要运行的时间做对比,相等时,则执行具体的程序代码。imp原创 2020-05-23 10:45:15 · 13638 阅读 · 5 评论 -
Python读取excle文件样例
需求场景:最近需要从一个有100多个sheet页的excle中读取各sheet页中固定列和固定行的数据值,python显然可以胜任这个工作。设计思路:读取到指定的列和行的数据,同步写入到新的excel中涉及模块:xlrd,xlwt程序代码:import xlrd # 导入excle读取模块import xlwt # 导入excle写入模块if __name__ == '__main__': """ 关键知识点: 一:打开excle表,使用xlrd.op.原创 2020-05-18 11:44:35 · 243 阅读 · 0 评论 -
Python自动化办公
在公司购买的OA系统上,很多功能都是软件商开发好的,如果有什么自定义的需求,也很难实现。现实情况下需要将一个工单的各类信息汇总整理为一份Excel,看似简单的需求,却需要在OA系统上反复点击多次,人工汇总。本章我们看看如何使用Python爬虫帮同事解决这个问题的。点击工单号之后才可以看到更多信息一、技术路线requests_html二、环境准备from reques...转载 2020-05-07 14:38:17 · 697 阅读 · 0 评论 -
使用Python画作业调度甘特图
使用Python画作业调度甘特图文章目录 一、背景 二、方案比较 Matplotlib方案 Plotly方案 三、实现方案 以柔性作业调度问题用例MK01的最佳调度图 未使用annotations进行配置修改画图效果 Matl...转载 2020-05-06 10:23:46 · 1745 阅读 · 0 评论 -
ChartDirector Python制作多层甘特图
在本文中主要是使用ChartDirector的Python版本来创建出多层级的甘特图,而在此次的示例演示中将会包含两个图层,包含计划和实际情况的甘特图,XYChart.addBoxWhiskerLayer 创建的两个图层,使用BaseBoxLayer.setDataWidth来进行在栏的顶部的图层的宽度的设置,以便它不会挡住底部的图层。具体示例的源代码如下,和大家一起分享分享:...转载 2020-05-06 10:21:54 · 542 阅读 · 0 评论 -
实现可拖拽,拉伸,吸附功能的甘特图(时间/任务表)
最近应为业务需求需要开发一个任务调度后台,实现一个甘特图( 类似上学时候的课程表,‘时间/课程/代课老师’ 转换为: “时间/任务/执行人'”)。参考图片:每一行的00:00到24:00部分的 <div class="tr-right draggable ui-widget-content"> 是展示一个用户所有任务的容器;每个一个粉色 <div class="dra...转载 2020-05-06 10:20:01 · 2289 阅读 · 2 评论 -
Python实现生产过程可视化(甘特图)
Python实现生产过程可视化(甘特图)背景:前文中,通过java写流水车间调度问题的GA算法,因java绘图库过于麻烦,而最终遗传迭代过程图使用Matlab实现。考虑之前接触过Python,且Python做数据分析非常合适,也想着能够重新捡起来Python(许久未用),以后可能会爬一些数据做分析,因此,花了点时间看看语法,并结合前文的结果来使用Python实现流水生产过程的甘特图。生...转载 2020-05-06 10:13:25 · 8830 阅读 · 0 评论 -
python模拟鼠标拖动操作的方法
本文实例讲述了python模拟鼠标拖动操作的方法。分享给大家供大家参考。具体如下:pdf中的书签只有页码,准备把现有书签拖到一个目录中,然后添加自己页签。重复的拖动工作实在无趣,还是让程序帮我实现吧,我可以喝点水,休息一下了1. Python代码:## _*_ coding:UTF-8 _*___author__ = 'wp'import win32apiimport win3...转载 2020-05-06 10:11:08 · 3462 阅读 · 1 评论 -
优美的python
def interval(start,stop=None,step=1): 'Imitates range() for step>0' if stop is None: start,stop=0,start result=[] i=start while i result.append(i) i+=step return...转载 2020-04-23 14:57:18 · 211 阅读 · 0 评论 -
python自动化办公?学这些就够用了
知乎上有人提问:用python进行办公自动化都需要学习什么知识呢?这可能是很多非IT职场人士面临的困惑,想把python用到工作中,却不知如何下手?python在自动化办公领域越来越受欢迎,批量处理简直是加班族的福音。前段时间,我在知乎专门就【python办公自动化】学习路径开了Live,讲了python基础、xlwings、docx、pptx、爬虫、数据分析等内容。live地...转载 2020-04-19 17:51:25 · 837 阅读 · 0 评论 -
FileSystemWatcher 类
命名空间:System.IO程序集:System.IO.FileSystem.Watcher.dll, System.dll, netstandard.dll侦听文件系统更改通知,并在目录或目录中的文件发生更改时引发事件。Listens to the file system change notifications and raises events when a director...转载 2020-03-16 23:54:11 · 402 阅读 · 0 评论 -
Pandas进阶之提速遍历操作
一、概念pandas是基于numpy库的数组结构构建的,它的很多操作都是(通过numpy或者pandas自身由Cpython实现并编译成C的扩展模块)在C语言中实现的。因此,正确使用pandas,它的运行速度是非常快的。 本篇介绍几种pandas中常用的提升运行速度的方法 1)将datetime数据与时间序列一起使用的优点 2)进行批量计算的最有效途径二、使用Datetime数据节省时...转载 2020-03-15 19:22:58 · 971 阅读 · 0 评论 -
dataframe字段过长被截断
总之能,情况就是这样。看看df类型:64位明显不够用啊。网上找到了segmentfault有这个问题,上面说试试pd.set_option('display.width', 200) ,再百度一下pd.set_option()这个函数,然后找到一篇文章:import pandas as ps1、pd.set_option('expand_frame_repr'...转载 2020-03-15 02:32:24 · 773 阅读 · 0 评论