qq_42693848的博客

在pyspark操作过程中，有时会忘记多表join重名字段去用问题，需要网上查，所以这次记录一下基本操作，便于以后自己查询使用。

java + scala + spark安装（centos为例） 在环境安装过程中，有时会忘记hdfs的命令，需要网上查，所以这次记录一下基本操作，便于以后自己查询使用。 java 安装 # 查看包含的java包 yum search java 或者。 yum list java* # 安装（选择一个版本） yum install java-1.8.0-openjdk-devel.x86_64 # 配置环境变量，配置好的见下文 # 使配置生效 source /etc/profile 或 sour

前言 在hdfs操作过程中，有时会忘记hdfs的命令，需要网上查，所以这次记录一下基本操作，便于以后自己查询使用。 配置java环境 hdfs使用需要依赖java，所以首先需要配置java环境(当然需要提前安装java)，配置命令： # java配置 export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export PATH=your_dependency_path:$PATH hdfs 基本操作 HDFS命令基本格式：hadoop fs -cmd &lt