weixin_45281949的博客

背景：330M的json文件，有大概100w+条数据，内部存在格式问题，需手动替换修改办法：拆分为6个小json文件，代码如下：# 读取大json文件with open('binguan_all.json', 'r', encoding='utf-8') as f1: N = [json.loads(line.strip()) for line in f1.readlines()] # 将数据按照每20w条一份，分别存储 total = len(N)//200000 # 为了

若网络速度还可以，之间从GitHub下载：pip install https://github.com/ipython-contrib/jupyter_contrib_nbextensions/tarball/master

字符串日期时间转换成时间戳# '2015-08-28 16:43:37.283' --> 1440751417def string2timestamp(strValue): d = datetime.datetime.strptime(strValue, "%Y-%m-%d %H:%M:%S") t = d.timetuple() timeStamp = int(time.mktime(t)) timeStamp = float(str(timeStamp)

背景：近期update了anaconda的所有包，设置了多个虚拟环境。问题：启动terminal后，输入“jupyter notebook”无法打开jupyter，如下：$ jupyter notebook-bash: jupyter: command not found临时解决方案：（激活conda的base环境，下方路径是anaconda的安装路径）$ source ~/anaconda3/bin/activate(base) ccm ~再输入“jupyter notebook”，就

A = array([ 0, 0, 0, 0, 2, 0, 0, 0, 2, 0, 0, 0, 0, 0, 0, 0, 0, 13, 0, 0, 3, 0, 0, 0, 0, 0, 0, 2, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 4, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,

希望返回values对应为5和4的两项，及其对应的longitude和latitude值df_agg1.groupby(['longitude','latitude'])['foot_mark'].sum()运行以上返回：longitude latitude121.258340 37.493010 5121.259149 37.496940 1121.259180 37.502860 1121.264030 37.487900 4121.302646

想extract匹配的项，结果发现返回了2列train.Ticket.str.extract('(([A-Z]+\.?)+\s*\d*)')返回：标题尝试加入 ?: 后，将(?:[A-Z]+.?)看为一个整体，再运行则只返回1列了。train.Ticket.str.extract('((?:[A-Z]+\.?)+\s*\d*)')返回：如果你的问题解决了，欢迎收藏+点赞+关注哦...

背景：在验证数据集的分布情况时，用kdeplot绘制可视化查看，但发现存在锯齿状、脉冲状的异常图像，乍一看是非常令人费解的。个人数据探索的真实案例（spark环境）：from scipy.stats import kstestimport numpy as npimport seaborn as snsimport matplotlib.pyplot as plt# 定义函数kde_...

背景：pyspark，通过udf定义函数，以辅助添加新列出错原因：udf不能返回numpy类型举例：df.head()Row(artist=‘Martha Tilston’, auth=‘Logged In’, firstName=‘Colin’, gender=‘M’, userId=‘30’, hour=8)# 切割时间，每6个小时为一组get_6hour = udf(lamb...

conda安装progressbar包conda install -c anaconda progressbarprogressbar的导入和应用（出现异常！）import progressbartotal = 10000000bar = progressbar.ProgressBar(maxval=total+1, widgets=[progressbar.Bar('=', '[',...

错误原因文件下载中断后，重新下载，或者文件已经下载完成。解决办法删除已经下载的文件，例如运行此代码时出错：testset = datasets.FashionMNIST('~/.pytorch/F_MNIST_data/', download=True, train=False, transform=transform)**则在电脑中搜索“F_MNIST_data”，将该文件夹删除即...

直接上代码：# 定义一个2维张量aa = torch.tensor([[1,2,3],[4,5,6]])print(a)a.shapetensor([[ 1, 2, 3], [ 4, 5, 6]])torch.Size([2, 3])# 2行3列，没毛病dim=0，降维（纵向压缩）b = torch.sum(a,dim=0)print(b)...

错误原因：因为list、set、dict：是不可哈希的什么意思？举2个不同栗子：例1：list_0 = [1,2,3,4]s = set(list_0)print(s)>>>{1, 2, 3, 4}

计数器Counter()的应用示范：from collections import Counterlist_01 = ['A','C','S','A','B','f','S','A']dict_01 = Counter(list_01)print(dict_01)将会直接输出一个字典，内容是列表中的元素及其出现频数：Counter({'A': 3, 'S': 2, 'C': 1, '...

引用sklearn模型，fit之后进行模型评估时，出现该错误，代码如下：from sklearn.tree import DecisionTreeClassifierfrom sklearn.metrics import f1_scoreregressor = DecisionTreeClassifier(random_state=42)regressor.fit(X_train,y_t...

直接上代码！# 在训练集上训练一个监督学习模型model = AdaBoostClassifier(base_estimator=DecisionTreeClassifier(max_depth=3),n_estimators=8)model.fit(X_train,y_train)# 提取特征重要性importances = model.feature_importances_#...

首先，这不是个特别难解决的问题，问题出现的原因可能有以下3种：1，因为coding马虎，导致的语法错误！函数/方法调用时的拼写错误！ ：此情况至少有80%的可能！至少有80%的可能！至少有80%的可能！重要的事情说三遍！2，函数名和变量名一致导致。 如 mean = mean(***)3，运算符号遗漏。 如a = bc 应改为 a= b*c...

直接上代码：from sklearn.model_selection import train_test_split# 将'features'和'result'数据切分成训练集和测试集X_train, X_test, y_train, y_test = train_test_split(features, result, test_size = 0.2, random_state = 0,...

bmi_life_model.fit(x,y)bmi_life_model.predict(21.079)ValueError: Expected 2D array, got scalar array instead:array=21.079.Reshape your data either using array.reshape(-1, 1) if your data has a ...

os.path.join()函数：连接两个或更多的路径名组件1.如果各组件名首字母不包含’/’，则函数会自动加上2.如果有一个组件是一个绝对路径，则在它之前的所有组件均会被舍弃3.如果最后一个组件为空，则生成的路径以一个’/’分隔符结尾用法：ebert_review_urls = [‘https://d17h27t6h515a5.cloudfront.net/topher/2017/S...