微信公众号（年更选手）：数据闲逛人 | Github开源项目：数分/数挖study路线 https://github.com/jc-dian/python_data_analysis

cannot import name 'just_fix_windows_console' from 'colorama'

在使用scikit-optimize中No module named 'skopt'

Python获取指定时间范围内的工作日、假日日、法定节假日

利用selenium框架爬取京东省市区数据时，网页里面内嵌的一个窗口遇到的NoSuchElementException的 bug，原因是iframe

bug

root@DESKTOP-9LANUGK:/opt# tar -zxvf spark-3.2.1-bin-hadoop3.2-scala2.13.tgz/usr/bin/gzip: 1: ELF

: not found/usr/bin/gzip: 3: 
: not found/usr/bin/gzip: 4: Syntax error: "(" unexpectedtar: Child returned status 2tar: Error is not recoverable:

bugbug如下：Navicat中同样的语句可以使用，但是DBeaver中却不能使用，折腾半天，终于把问题解决了，但是不知道为什么，可能是软件本身设置如此吧解决bug解决方法：不要有换行，猜测是换行是独立片段，没有联系（这估计是DBeaver的特性，Navicat中不会这样）拓展那么的就像换行，空着美观一点怎么办，可以解决，加注释行就可以解决了...

前言       工作中如果我们公司有数据库，那么就经常需要用jupyter notebook连接数据库，把数据拉取进来用python语言进行数据探索，数据处理甚至是数据建模的操作。PostgreSQL介绍PostgreSQL 教程如何连接？# 导入数据库import psycopg2import pandas as pdfrom sqlalchemy import create_engine# postgres：数据库

what：建模之前数据预处理，用Smote处理样本不平衡问题，出现这个bugwhy:根据报错提示输入包含NaN、infinity或一个对dtype来说太大的值(‘float64’)经过sum(data.isnull().sum())然后查找最大df.max()找到原因处理掉就可以了...

前言自己想对dataframe某列进行替换正文前面是有data.insert(11,'discovery_like_count',-10)data.insert(12,'discovery_collect_count',-10)data.insert(13,'discovery_comment_count',-10)（1）apply与lambda结合data['discovery_like_count'] = data['discovery_like_count'].apply(lambd

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar

当某个文件夹里面的文件比较多，自己需要遍历读取，但是又不想一个个自己输入，可以遍历获取存成一个列表，然后自己加一个循环就可以完成多个文件的读取import os # 这里我想指定某一路径,然后获取该路径下的文件def file_name(file_dir): """ root： 当前目录路径 dirs： 当前路径下所有子目录 files：当前路径下所有非目录子文件 """ for root, dirs, files in os.

前言因为内网，不能发送大于10M的文件，无奈只能将pdf切分进行压缩pdf文件，自行调节清晰度从而调节文件大小import fitzimport osdef covert2pic(zoom): if os.path.exists('.pdf'): # 临时文件，需为空 os.removedirs('.pdf') os.mkdir('.pdf') for pg in range(totaling): page = doc[pg

def to_excel(data，row): length = len(data) number = length //row for i in range(number+1): data[i*row:(i+1)*row].to_excel('./path.xlsx',index=False)

参考此文章解决了这个bug来源：我想使用python中xlwt的包 ，但是我在已经搭好的服务器上使用jupyter，所以我进行下面命令进行安装pip install --user xlwt出现Consider using the --user option or check the permissions.的bug，经查找，定位原因是没有root权限 不能进行全局安装加上–user 只安装在自己的环境就ook了...

废话不多说,直接上图解决方案INVALIDATE METADATA + Table namewhy:推测 数据冲刷一遍,类比我想到了电脑重启,底层原理不懂,望大神指点一二

#这里声明一个读写对象writer = pd.ExcelWriter('./A.xlsx',engine='xlsxwriter')for i in range(len(page)): DataFRame_data.to_excel(writer,sheet_name=page['页数'][i],index=False)writer.save() # 这里一定要保存!!!!!!!!!!!!!!write.save() 保存的原因 可以看到建立了一个对象 这个对象可以不断添加不同she

超链接

        减少循环，提高运行效率，灵感来源，实习接的一些需求，看到运行时间预计要几小时那瞬间奔溃有点情景: 增加一列进行打标分几个类别套两个循环 结果用isin()优化后for j in tqdm(range(len(bcc_brand_list))): df.loc[df['brand_name'].isin(bcc_brand_list), 'category'] = 'BCC'for j in

前言        前两天突然有个疑惑,多大的数据量才算得上大数据, 后面还联想到现在的硬件存储资源的价格大概是多少?详情可以点击这

文件直接在链接里面下载飞书文档的链接，直接进入下载就可以了

Xmind文件下载链接：https://pan.baidu.com/s/1lO4qe4guBlKkyjIHj4QVeg提取码：snk0

Xmind文件下载链接：https://pan.baidu.com/s/178hB62Mgll268EIwR2q0sw提取码：wfbo

Xmind文件下载链接：https://pan.baidu.com/s/1jDgGsL2Zp1Cv8ZOlslJyZg提取码：oyqf

Xmind文件下载链接：https://pan.baidu.com/s/1hsgOayjryUj8Y1TJgnY7Hw提取码：ujfu

enumerate() 函数是用来将一个可以遍历对象(如列表、元组或字符串)组合为一个索引序列，同时列出数据下表和数据对象，一般用在for循环中下面举个例子for ind,each_data in enumerate(sheet_datas[:-1]): print(ind) print(each_data)...

       同理可以寻找体积大于10M,100M,而且是.pdf或其他限制逻辑,只要稍微修改一下下就可以了os.path.getsize(path) ：返回path参数中文件的字节数。for folderName,subFolders,fileNames in os.walk('D:\\jupyter_file\\Datawhale\\第27期学习'): for filename in fileNames:

os.walk(path):传入一个文件夹的路径，在for循环语句中使用os.walk()函数，遍历目录树，和range()函数遍历一个范围的数字类似。不同的是，os.walk()在循环的每次迭代中，返回三个值：1）、当前文件夹称的字符串。2）、当前文件夹中子文件夹的字符串的列表。3）、当前文件夹中文件的字符串的列表。注：当前文件夹，是指for循环当前迭代的文件夹。程序的当前工作目录，不会因为os.walk()而改变。os.path.join()`函数来创建文件名称字符串。# os.wa.

os.path.join()函数来创建文件名称字符串import osos.path.join('jupyter_file','Datawhale')下面到了假设没有这个方法,我用其他试试看，在此之前先说明一下os.listdir()和os.path.getsize()，**os.listdir(path):返回文件名字符串的列表，包含path参数中的每个文件。os.path.getsize(path)：**返回path参数中文件的字节数。然后到了重头戏了，我要统计一个文件夹下的所有文件

文章目录1 参考这篇文章https://www.jianshu.com/p/8b992e47a0e4出现pyqt5_tools\designer.exe不见了一开始很纳闷，但是已经初入程序员的门槛的我，淡定地喝了口水，然后首先怀疑库版本的问题，进行重装pip install sip //pip install PyQt5 -i https://pypi.douban.com/simplepip install PyQt5-tools -i https://pypi.douban.co

result = pd.DataFrame()result['ImageId'] = list(range(1,2001))result['Label'] = resultsresult.to_csv("Sample_submission.csv", index = False)

大一上：高等数学1A1c语言程序设计大学计算机基础大一下：线性代数高等数学1A2运筹学Matlab程序设计面向对象程序设计（c++）离散数学大二上：概率论与数理统计数值分析数据结构数据库原理与应用java程序设计大二下：数学建模web应用技术操作系统原理及应用Python多元统计分析大三上：数据分析人工智能计算机网络数据挖掘与分析大型数据库技术云计算算法分析与设计智能搜索引擎技术大三下：并行程序设计软件工程大数据构架与技术机器学习数据

warnings.filterwarnings('ignore')import pandas as pdimport reimport os#数据探索#1 获取所有文件的名称和路径data_path = './data/' #数据存储路径 ！！！！！按需修改这里data_names = os.listdir(data_path) #列举出data_path里面所有的文件名称data = pd.DataFrame([])for data_name in data_names:

文章目录<1> 打开进入 git<2><3><4>结果成功

1. dataframe导出csv表格,去掉默认索引answer_data.to_csv('./my_model_stacking.csv',index = False)

Sessionnotcreatedexception: Message: session not created: This version of Chromedriver only supports Chrome version 88Current browser version is 90.0.4430.85 with binary path C: Users Administratorappdata Local\ Chrome Application\chrome. exe谷歌浏览器自动更新的泪!!

出现了这个bugdata2[‘下单时间’]是这样的开始挺纳闷,不知道是为啥,后来想应该是类型问题想着是不是要pandas版本的问题,因为前面对时间进行处理将,开始在csv中是这样的然后处理变成了感觉可能版本处理应该可以直接将类型处理好,不过底层的东西还是小白,希望有大神教教,找资料说可以这样处理[红色框]然后类型最后bug解决了...

将这样的时间2018/6/30 23:58:36 批量改成2018-09-01 00:00:35的在这里插入代码片import pandas as pddata['下单时间'] =pd.to_datetime(data['下单时间']) #data是读取的一个csv文件里面有列"下单时间"表格里面是这样的处理后变成...

下载安装后发现页面太小,看了很多网上解决方法,主要有两种1安装VMware Tools的方法2也看到了调节屏幕分辩率来弄但是都没弄成功[可能是我太菜了]之前看见一个博客是在终端写命令弄成功了,然后后面做实验好像ubantu坏了,重新下载,想再调一次 ,找那个博客,发现找不到那个博客了连接了!!!后悔没收藏现在找到另外一个解决方案是调节分辨率的1 找到系统设置2 点击显示 3 调节自己喜欢的分辨率这里有个小bug就是选择好分辨率之后,因为页面太小,那个应用的按钮一直按不到!!!解决.

文章目录做异常检测,用Kmeans做聚类，设置较大的K值，小类可能为异常