Buevara的博客

Linux Ubuntu安装nodejs

Linux下修改jar包中的配置文件application.conf

查看 CUDA 版本：cat /usr/local/cuda/version.txt或者：nvcc -V查看 CUDNN 版本：cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2查看能否使用gpu：jupyter输入：import tensorflow as tfprint("Num GPUs Available: ", len(tf.config.experimental.list_physical_devi

在anaconda中使用pipanaconda 下使用conda -install 报错使用pip 在anaconda 下安装需要的包：自带的anaconda 环境 下：cd ./anaconda3/lib/python3.6/site-packages我的版本是 python 3.6 所以是 /python3.6在这里直接 pip install XXX 就可以设置用清华的源下载临时使用pip install -i https://pypi.tuna.tsinghua.edu

今天 服务器启动服务时 ，日志突然报错：java.lang.OutOfMemoryError: unable to create new native thread at java.lang.Thread.start0(Native Method) at java.lang.Thread.start(Thread.java:714) at org.eclipse.jetty.util.thread.QueuedThreadPool.startThreads(QueuedThreadPool.java

Linux使用小TipsLinux下设置时间提供两种最根本有效的方式，就是更改时区。这里以更改为国内上海时间例子，其他地方时区同理。方法一备份文件mv /etc/localtime /etc/localtime.bak复制时区文件cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime这里选择了亚洲下的上海时区，可ls查看各文件夹下的时区文件。查看当前时间date是否已经是正确时间啦。一般建议使用第二种建立链接方式方法二备份文件mv

Linux解决每次进入命令要重新 source /etc/profile 的问题一、问题出现今天在Linux中安装jdk后发现每次使用jdk都要重新执行 source /etc/profile 命令，使该文件生效才可以使用jdk（非常麻烦），所以上网查找解决办法，具体解决办法请继续向下看。二、解决办法方法一：在 ~/.bashrc 里面加一句 source /etc/profile ,然后执行一次 source ~/.bashrc 使该文件生效即可。方法二：直接将配置语句写在 ~/.bashr

1. spark-defaults.confspark/conf下spark.eventLog.enabled true 是否记录Spark事件spark.eventLog.dir hdfs://hadoop-master:9000/user/directory 保存日志相关信息的路径，可以是hdfs://开头的HDFS路径，也可以是file://开头的本地路径，都需要提前创建spark.master sp

指令：alias设置指令的别名语法：# alias name=‘command line’参数：-p： 打印出现有的别名（唯一的参数）若不加任何参数，则列出目前所有的别名设置用法：alias cp=‘cp -i’这样就可以用cp来代替cp -i，而且cp -i这条命令依旧有效查看alias：列出目前所有的别名设置。alias 或 # alias -p查看具体一条指令的别名alias cp别名永久化：alias的作用仅在该次登入的操作，即

方法1：在配置文件中修改cd $SPARK_HOME/conf ## 查看是否存在 log4j.properties## 如果没有，则cp log4j.properties.template log4j.propertiesvi log4j.properties##然后，修改下面的这一个行：log4j.rootCategory=INFO, console##改成：log4j.rootCategory=WARN, console或者(按个人需求)log4j.rootCateg

1.命令行输入spark-shell2. 创建sparkSessionimport org.apache.spark.sql.SparkSessionval spark = SparkSession.builder().appName(“demo”).getOrCreate();3. 读取parquent数据var sessi = spark.read.load("/aaa/bbb/output_pt");sessi.show(5);其中output是一个文件夹，里面有多个pa

原文作者： 健人雄出处：https://www.cnblogs.com/tian874540961/p/12133469.htmldocker+mysql 更改配置后重启不了的解决方案前提：在最近的项目中，决定将项目改造成数据库读写分离的架构，于是擅自更改生产环境的数据库的配置文件my.cnf，由于我是用docker进行部署的，执行docker restart mysql后发现没有起来，执行...

服务器挂了之后运行重启dockerdocker start 41xxxxxxxad0报错：重启docker时:Error starting userland proxy: listen tcp 0.0.0.0:9000: listen: address already in use查看端口 必须用sudosudo netstat -pna | grep 9000记住PID号...

shell脚本基本变量赋值数值型a = 0(错误写法) “=“两侧不能有空格报错：“command not found”a=0(正确写法)字符串型b = ”berwin“(错误写法) “=“两侧不能有空格报错：“command not found”b=“berwin”(正确写法)运行时就会报错：“command not found”，将空格删除正常运行。...

方法一: 使用全局变量[html] view plaincopy在CODE上查看代码片派生到我的代码片g_result="" function testFunc() { g_result='local value' } testFunc echo $g_result 方法二: 把shell函数作为子程序调用，将其结果写到子程序的标准输出[ht...

shell 没有直接的毫秒计时单位 只有秒(s)和纳秒(ns)换算公式：1s=1000ms1ms=1000 microseconds1microsecond=1000 nanoseconds1 计算秒间隔starttime=`date +'%Y-%m-%d %H:%M:%S'`endtime=`date +'%Y-%m-%d %H:%M:%S'`start_seconds=$(d...

之前一直想做一个Hive一键运行脚本找了很久才找到这篇博客首先一定要确认环境变量中添加了hive环境变量参考参考vi /etc/profile文件内添加：export HIVE_HOME=/usr/local/hive（自己hive的安装目录）export PATH=$PATH:$HIVE_HOME/binsource /etc.profile测试一下：执行 ...

1、字符串判断str1 = str2　　　　　　当两个串有相同内容、长度时为真str1 != str2　　　　　 当串str1和str2不等时为真-n str1　　　　　　　 当串的长度大于0时为真(串非空)-z str1　　　　　　　 当串的长度为0时为真(空串)str1　　　　　　　　 当串str1为非空时为真2、数字的判断int1 -eq int2　　　　两数相等为真in...

文件重编码：查看文件编码格式file bbb.csv显示:bbb.csv: ISO-8859 text, with very long lines, with CRLF line terminatorsbbb.csv是ISO-8859编码，对中文不支持，需改utf8。更改编码格式iconv -c -f GB2312 -t UTF-8 bbb.csv > newbb...

1 切换分支$ git checkout 分支名2 创建并切换 分支$ git checkout -b 新分支名3 查看当前分支$ git branch 绿色是当前分支4 删除本地分支$ git branch -d 分支名5 强制删除本地分支如果报错：使用强制删除$ git branch -D 分支名注意：一定要切换到别的分支删除想删除的分...

楓尘君一直觉得将df存为csv文件是一个非常简单操作处理，但是当查阅资料之后发现网上有很多误导和错误，本着从实际出发的原则，记录一下过程：1. 发现问题背景：楓尘君想利用spark处理较大的数据集，然后用python将提取特征后的数据集建模用spark将数据筛选后生成dataframe类型的表： data于是从网上查看了一下将data表转化为csv文件的方法，于是我发现：来自：http:...

1. nohup用途：不挂断地运行命令。语法：nohup Command [ Arg … ] [　& ]无论是否将 nohup 命令的输出重定向到终端，输出都将附加到当前目录的 nohup.out 文件中。如果当前目录的 nohup.out 文件不可写，输出重定向到 $HOME/nohup.out 文件中。如果没有文件能创建或打开以用于追加，那么 Command 参数指定的命令不...

出现问题：楓尘君在自己的Mac的.bash_profile 中设置环境变量如图：$ open ~/.bash_profile其中设置了spark路径 java路径 maven路径 groovy路径等等关闭后，更新$ source ~/.bash_profile但是在查看路径时很奇怪：$ echo $PATH没有发现 spark路径和groovy路径等等。在bash运行：$ s...

楓尘君前几天运行spark单机环境，发现命名在mac的~/.bash_profile中配置了spark环境，但是在终端却无法直接启动？查阅了半天直到发现某个博主的一篇博客，瞬间如醍醐灌顶，链接如下：https://blog.youkuaiyun.com/hlllmr1314/article/details/52228672原因是：我安装了zsh：原博客中说明：只需要按照该博主的方法即可，亲测有效，...

将Maven 添加进环境变量Maven 下载完毕后，解压到环境变量集合的位置，我是将其解压在/usr/local/maven目录下。然后在终端中，执行如下命令$ open ~/.bash_profile打开.bash_profile后，在里面添加如下的maven 配置：添加Maven到环境变量export M3_HOME=/usr/local/maven/maven3.3.9expo...

查看docker name：sudo docker inspect -f=’{{.Name}}’ $(sudo docker ps -a -q)查看dockers ip：sudo docker inspect -f=’{{.NetworkSettings.IPAddress}}’ $(sudo docker ps -a -q)原文链接：https://blog.youkuaiyun.com/wen_1...

打开文件：cat xxx.txt取文件的前30行head -n 30 xxx.txt == head -30 xxx.txt 取文件前30行内容取文件的后11行tail -11 xxx.txt 取文件后11行内容| 管道命令连接 将head取出的30行内容作为tail的输入...