NOT_GUY的博客

深度学习中遇到的bug

问题背景：在以stanalone方式部署的spark环境中，以cluster方式提交application后，过了半天发现在web页面driver上stdout和stderr上的日志全部都没有了，stdout中显示error: invalid log director /app/spark/...问题原因：由于在spark-env.sh中配置了每个worker清理日志的时间，即SPARK_WORKER_OPTS='-Dspark.worker.cleanup.enabled=true -Dspark.

背景：在spark中，去重后将数据写入到hdfs中时，报错：Insufficient space for shared memory file和java.io.IOException: No space left on device。原因：由于去重会带来shuffle，在shuffle过程中空间不足造成的。在spark-env.sh中找到SPARK_LOCAL_DIRS配置的目录/tmp/spark/tmp，然后利用du -sh /tmp查看空间发现满了，利用率为100%解决方法：（1）扩大/tmp挂载

今天项目打包的时候发现，jar包中只有自己写的主类，没有依赖，于是找了下如何将依赖与主类一起打成一个jar包。在pom.xml中<build>中添加如下代码：<plugins> <plugin> <groupId>net.alchim31.maven</groupId> <artifactId>scala-maven-plugin</

安装Pyhive需要以下依赖：sasl==0.2.1、thrift==0.13.0、thrift-sasl==0.4.2以上安装完成后，安装pyhive成功。导入pyhive包，connection连接hive时，报以下错误：thrift.transport.TTransport.TTransportException: Could not start SASL: b'Error in sasl_client_start (-4) SASL(-4): no mechanism available:

最近在跑程序时，出现过好几次这个问题，当时在官方tensorflow的github上查到了这个问题，见：https://github.com/tensorflow/tensorflow/issues/39712，工作人员回复让试一下tf-nightly（应该是最新迭代的版本），但由于tensorflow版本多人再用，所以也没试这种方法。今天又碰到这个问题，研究了一下，下面首先给出我这里几次碰到这个问题的背景：（1）由于有多人在使用GPU，所以前几次都是在GPU占用比较大的情况下，然后我跑个程序就出现

最近在看tensorflow.keras的多输入多输出时，碰到了这个问题，在这里记录一下。首先给出报错代码：# 两个输入main_input = tf.keras.layers.Input(shape=(784,),dtype=tf.float32,name="main_input")auxiliary_input = tf.keras.layers.Input(shape=784,),dtype=tf.float32,name="auxiliary_input")## 网络1x = t

问题1：All master are unresponsive! Giving up.问题1—提交代码的方式：spark-submit connectedComponentAnalysis.py --master yarn --deploy-mode cluster --executor-memory 3g --num-executors 10问题1—代码环境配置：conf = SparkConf()conf.setAppName("cca")sc = SparkContext(con

1、sklearn.model_selection.cross_val_score(estimator,X,y=None,groups=None,scoring=None,cv=None,n_jobs=None,verbose=0,fit_params=None,pre_dispatch='2*n_jobs',error_score=nan)（1）cv参数定义交叉验证方式：...

1、[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.5:compile (default-compile) on project easyml-manage: Compilation failure: Compilation failure: [ERROR] /D:/gyl/gite...