- 博客(176)
- 资源 (7)
- 收藏
- 关注
原创 解决motionpro 校园网vpn一直重连的问题
3. 手动清除DNS缓存,操作步骤:win键+R打开【运行】;输入cmd打开【命令提示行】;输入ipconfig /flushdns,回车。开始-选项-虚拟网卡类型-SSTP(默认)→VNIC,保存,重启软件。2. 更改虚拟网卡类型进行重新连接。以上三步基本能解决该问题。
2024-08-18 18:26:11
1771
1
原创 解决时序数据pandas groupby 按时间分组后0值填充的问题
针对时序数据按不同时间粒度统计时,如果粒度比较小比如15min会存在统计值为0,而pandas返回的dataframe默认只显示结果为非0的记录,如果此时需要填充,可以使用.unstack(fill_value=0).stack()
2023-03-02 11:02:22
663
原创 Proxy_Pool 代理池与Redis配置的常见问题
问题1:ERROR redis connection error: Error 10061 connecting to 127.0.0.1:6379. 由于目标计算机积极拒绝,无法连接。解决:下载并安装Redis-x64-3.0.504.msi或zip都行,地址:https://github.com/MicrosoftArchive/redis/releases问题2:redis中redis.exceptions.AuthenticationError: Authentication require
2022-04-19 22:09:20
1149
原创 jupyterlab 插件安装
conda install -c conda-forge jupyterlab-variableinspectorconda install -c conda-forge jupyterlab_execute_timeNote: for this to show anything, you need to enable cell timing in the notebook via Settings->Advanced Settings Editor->Notebook: {"rec
2021-11-17 09:49:31
920
原创 geopandas 离线安装
Python Extension Packages for Windows - Christoph Gohlke (uci.edu)在这个网站下载以下whl文件,然后用pipinstall命令依次安装whl文件gdal fiona shapely pyproj geopandas
2021-10-06 10:59:18
606
1
原创 spyder删除默认变量
删除spyder变量浏览器(Variable Explore)中的默认变量,例如pi, e, euler_gamma, cast, ScalarType等Tools > Preferences > IPython console > Graphics > Automatically load Pylab and NumPy modules
2021-09-23 20:48:47
571
原创 jupyterlab插件
jupyterlab-spreadsheet jupyterlab-spreadsheet帮助我们在jupyter lab中查看表格类文件,特别是其支持查看多工作表的excel表格文件jupyterlab-system-monitor jupyterlab-system-monitor通过在jupyter lab界面中添加资源监视器部件,能帮助我们在工作过程中方便的看到CPU、内存的实时占用情况jupyterlab-kite 这个插件我们之前的文章仔细介绍过,帮助我们建立代码补..
2021-09-16 19:54:25
706
原创 pandas中文时间格式转换
31-3月 -18 11.24.01.000000000 上午格式转为标准时间格式首先使用apply函数将“上午”、“下午”替换:(lambda x:str(x).replace('.000000000 上午',' AM'))然后使用pd.to_datetime函数转化为时间格式 (data['col'], format="%d-%m月 -%y %I.%M.%S %p")format参考https://www.dataindeendent.com/pandas/pandas-to-...
2021-08-16 19:22:00
1353
原创 pandas按半小时区间分组统计
data.groupby(['col',data.START_HOUR.dt.floor('30Min')]).size().reset_index()
2021-08-16 19:14:34
1390
原创 Excel批量转化CSV
Step1. 将要转换的Excel文件放在同一个文件夹里,新建一个空白的Excel文件,右击左下角的Sheet 1,点击“查看代码”(WPS中为开发工具->VBb编辑器)Step2. 在出现的框里填上以下代码,选中之后点击运“运行” Sub xls2csv() Application.DisplayAlerts = False t = ActiveWorkbook.Name mypath = ActiveWorkbook.Path & "\"
2021-08-11 21:31:09
2724
1
原创 解决office关闭更新仍出现“可用的更新Office的更新已准备就绪,但我们首先需要关闭一些应用程序”的问题
解决office关闭更新仍出现“可用的更新Office的更新已准备就绪,但我们首先需要关闭一些应用程序”的问题打开注册表编辑器HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Office\ClickToRun\Updates新建UpdatesReadyToApply或者将其值赋空值UpdatesBlockedTime将其值赋空值...
2021-08-08 09:52:32
5538
11
原创 pandas将数据按5分钟平均
详见https://stackoverflow.com/questions/36681945/group-dataframe-in-5-minute-intervals
2020-11-16 21:45:21
1386
原创 手动安装geopandas
在安装geopandas之前,需要安装Shapely、GDAL、Fiona、geopy,前三个可以去https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml下载
2020-11-14 15:51:40
214
原创 利用multiprocessing对pandas的apply并行加速,非groupby操作
import pandas as pdfrom multiprocessing import Poolfrom functools import partialdef dosomething(row): #添加计算操作 return def parallelize(data, func, num_of_processes=8): data_split = np.array_split(data, num_of_processes) poo.
2020-09-13 07:30:59
2885
原创 pandas 将多个dataframe进行merge
pandas 将多个dataframe进行mergeimport pandas as pdfrom functools import reducedfs = [df1, df2, df3]df_final = reduce(lambda left,right: pd.merge(left,right,on='col',how='left'), dfs)
2020-06-21 02:06:00
5732
5
原创 使用multiprocessing Pool 对 pandas groupby apply加速
1.multiprocessing Pool 的使用import multiprocessingdef func(args): # do something return df #返回一个dfif __name__ == "__main__": pool = multiprocessing.Pool() result=pd.DataFrame() result=result.append(pool.map(func,list) ) #给func传..
2020-06-14 14:13:41
2736
原创 python 离线安装依赖包
新建文件夹,打开cmdpip download 包名拷贝到另外一台电脑pip install --no-index --find-links=文件夹路径 包名
2020-06-12 00:53:38
255
原创 pandas pivot 不等长的多列
pandas pivot 不等长的pd.concat([pd.DataFrame({g:d.B.tolist()}) for g,d in df.groupby('A')], axis=1)
2020-06-11 01:59:52
405
原创 使用list循环填充pandas series
使用list循环填充pandas seriesfrom itertools import cycleseq = cycle([1, 2, 3])df['Seq'] = [next(seq) for count in range(df.shape[0])]
2020-06-10 19:16:52
662
原创 pandas apply加速
使用map速度比apply快def func(S1, S2): #do something return #data['similarity'] =pd.Series()data['similarity'] = list(map(func,data['col1'], data['col2']))#data['similarity'] = data.apply(lambda row: func(row['col1'], row['col2']), axis=1)...
2020-06-07 02:48:25
1150
原创 Keras training progress bar 打印新的一行问题
Keras verbose training progress bar writing a new line on each batch issue解决办法:命令行宽度太窄了,把命令行拉宽点。。。
2020-05-31 21:34:27
373
原创 tensorflow 2.X Failed to load the native TensorFlow runtime 问题解决
ImportError: DLL load failed: The specified module could not be found.Failed to load the native TensorFlow runtime.解决办法:Go to theMicrosoft Visual C++ downloads,Scroll down the page to the Visual Studio 2015, 2017 and 2019 section.Download and inst.
2020-05-31 21:32:11
4596
原创 Fluent Terminal 添加右键打开
添加鼠标右键菜单新建文本,将以下脚本复制到文本中,另存为Install.bat,双击打开Install.bat即可reg add "HKCU\Software\Classes\Directory\shell\Open Fluent Terminal here\command" /d "\"%LOCALAPPDATA%\Microsoft\WindowsApps\flute.exe\" new \"%%1\"" /freg add "HKCU\Software\Classes\Director.
2020-05-30 17:17:01
2930
3
原创 离线安装tensorflow-1.15.3所需要的依赖包
λ pip install "C:\Users\Administrator\Desktop\tf\tensorflow-1.15.3-cp37-cp37m-win_amd64.whl"Processing c:\users\administrator\desktop\tf\tensorflow-1.15.3-cp37-cp37m-win_amd64.whlRequirement already satisfied: google-pasta>=0.1.6 in c:\anaconda3\lib\s
2020-05-30 16:32:46
3404
原创 pandas groupby apply 并行处理
from joblib import Parallel, delayeddef processParallel(df,name): #处理数据,如果不加name,return的data没有group信息 return datadef applyParallel(dfGrouped, func): retLst = Parallel(n_jobs=6)(delayed(func)(group,name) for name, group in dfGrouped) ret..
2020-05-29 20:29:36
3150
原创 pandas 按频率排序
order=staypoint['label'].value_counts().reset_index() #统计频率order=order.apply(lambda row: row.name, axis=1) #按出现频率从高到低赋索引值areamap=dict(order[['index','label']].values.tolist())#生成dictstaypoint['label']=staypoint['label'].map(areamap) #赋值...
2020-05-29 20:23:48
1973
原创 GridSearchCV调参
from sklearn import datasetsfrom sklearn.model_selection import train_test_splitfrom sklearn.model_selection import GridSearchCVfrom sklearn.metrics import classification_reportfrom sklearn.svm i...
2020-03-18 19:44:56
558
原创 pandas查找出dataframe中任意一个字段含有空值的一行
pandas查找出dataframe中任意一个字段含有空值的一行df[df.isnull().T.any()]
2020-03-10 16:39:07
1690
原创 解决Microsoft Visual C++ 14.0 is required 以及 'cl.exe' 相关问题
使用pip安装package时报错:1. Microsoft Visual C++ 14.0 is required.2.'cl.exe' failed: No such file or directory3. 'cl.exe' failed with exit status可使用以下方式解决:1. 安装Visual Studio的最新版Build Tools (https:...
2019-11-23 18:50:09
1047
1
原创 conda环境管理
查看当前存在哪些虚拟环境conda env list 创建python版本为X.X、名字为your_env_name的虚拟环境conda create -n your_env_name python=X.X激活虚拟环境。activate your_env_name(虚拟环境名称)对虚拟环境中安装额外的包conda install -n your_env_nam...
2019-11-23 18:27:33
127
原创 解决RuntimeError: b'no arguments in initialization list' 问题
使用geopandas进行坐标系转换时,报错RuntimeError: b'no arguments in initialization list' 问题是由proj造成的,可以通过更新proj修复pip install --ignore-installed pyproj==2.4.0...
2019-11-02 17:20:35
1817
1
原创 解决read_csv读取中文文件名、路径报错OSError: Initializing from file failed问题
pandas read_csv直接读取含中文的文件名(或者中文路径)会报错OSError: Initializing from file failed解决办法:f= open(r"中文路径")df= pd.read_csv(f)
2019-09-27 15:59:17
361
原创 解决sqlalchemy连接oracle中文显示乱码问题
设置环境变量os.environ['NLS_LANG'] = 'SIMPLIFIED CHINESE_CHINA.AL32UTF8'oralce 服务端编码可以通过select userenv('language') from dual;查询
2019-09-27 01:47:40
720
转载 使用python绘制小猪佩奇
转自“Python开发者”from turtle import*def nose(x,y):#鼻子 penup()#提起笔 goto(x,y)#定位 pendown()#落笔,开始画 setheading(-30)#将乌龟的方向设置为to_angle/为数字(0-东、90-北、180-西、270-南) begin_fill()#准备开始填充图形...
2019-01-25 13:51:21
312
原创 dict使用values值排序,保留values最大的前几个数
对python的dict数据类型使用values值排序,保留values最大的前几个数 import pandas as pddic={'3':97,'4':99,'5':99,'6':100,'7':99,'8':99}l=sorted(dic.items(), key=lambda dic:dic[1],reverse=True) for i in range(length...
2018-12-20 09:31:33
1251
Hands-On Machine Learning with Scikit-Learn and TensorFlow
2018-01-13
用scikit-learn掌握机器学习Mastering Machine Learning With scikit-learn
2018-01-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人