- 博客(6)
- 收藏
- 关注
RSS订阅原创 python执行py文件时，ImportError: No module named pyspark 的解决办法
在集群上运行含有spark的python文件时，使用python ***.py的命令会出现找不到pyspark模块的错误，笔者的解决办法：使用spark-submit来执行.py文件，如：spark-submit ****.py 刚开始在网上搜索该问题时，网上大多推荐的答案是修改配置路径，即 export SPARK_HOME=你的PySpark目录，但试了该方法并不能解决...
2018-07-17 13:32:09
16592
原创 在linux下利用netcdf的C语言库读取.nc文件
之前一直在使用ECMWF的天气预报数据做研究，从ERA-Interim网站上下载的风场数据是.nc格式，无法直接使用C++的标准库进行读取，所以花了两天时间研究了下如何利用netcdf的C语言库来实现.nc文件的读取。经过不断地采坑才发现，官网教程才是最靠谱的。笔者是在linux环境下进行的程序开发，windows下的安装请自行参考官网安装方法。官网安装指南的网址如下：点击打开链接 ...
2018-07-08 20:57:21
5022
3
原创 Linux下使用anaconda安装tensorflow（GPU版）
系统硬件设备 笔者的显卡是Tesla K40m，显存12g，cuda版本是8.0，python版本是3.6，基于以上信息安装的tensorflow。安装血泪史 由于笔者要安装的是gpu版，因此采用的下述方法：conda create -n tensorflow python=3.6 # or python=2.7, etc.source activate tensorflowpip i...
2018-06-09 18:24:26
5056
原创 linux下安装XGBoost并支持GPU（anaconda3）
这几天为了让xgboost运行的更快，所以在研究让他支持gpu版本。踩了不少的坑，在此贡献出来让大家少点烦恼。前提 笔者由于开始是小菜鸟一枚，系统里直接安装的anaconda3，因此之前装的cpu版的xgboost是参考网上给出的直接利用命令行来安装：pip install xgboost 但是，如果直接按照官网上建议的GPU支持指南操作会发现，xgboost文件夹下已经存在buil...
2018-06-02 11:20:23
5963
1
翻译 sk-learn 决策回归树的参数介绍
本文大部分内容为sklearn库官网上的翻译内容，主要是为英语还不是很6，仅为刚刚入门的小伙伴提供参考，后面的参数介绍参考了刘建平先生的博客，详情可参考如下两个网站：1、scikit-learn决策树算法类库介绍2、sklearn 决策树英文介绍介绍 决策树是一种用于分类和回归的非参数化监督学习方法。其目标是通过从数据特征中学习到的简单决策规则来建立模型，预测目标变量的值。优点：1、...
2018-05-25 17:02:51
5290
原创 C++ STL 常用模板应用举例
一、reverse 函数函数原型：reverse(begin, end)reverse函数将区间[begin, end)内的元素全部逆序，该函数不仅可用于容器中，还可用于数组中。#include <iostream>#include <algorithm>#include <vector>using namespace std;int main(){ int i...
2018-04-24 16:15:22
543
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人