zhangjunli的博客

启动spark后，运行bin/spark-shell会出现一个警告WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable>>提君博客原创 http://www.cnblogs.com/tijun/ <<虽然不影响运行，但是看着不舒服。下面我整理的解决方法。...

现象Java端报错：19/11/05 15:06:05 INFO SparkEnv: Registering OutputCommitCoordinator19/11/05 15:06:06 INFO Utils: Successfully started service 'SparkUI' on port 4040.19/11/05 15:06:06 INFO SparkUI: Bound SparkUI to 0.0.0.0, and started at http://DD-HP5500:4

Hadoop集群环境部署在几个Linux服务器上，现在想使用windows上的Java客户端来操作集群中的HDFS文件，但是在客户端运行时出现了如下的认证错误，被折磨了几天，问题终得以解决。以此文记录问题的解决过程。（如果想看最终解决问题的方法拉到最后，如果想看我的问题解决思路请从上向下看）问题描述上传文件的代码：package com.cys.mapreduce;import java.io.IOException;import java.util.StringTokenizer;

--------------------说明--------------------1）Java配置完成，版本在1.8以上；因为Scala是基于Java开发的，编译之后生成的class文件也可以远行在JVM上，并被Java调用。2）IntelliJ IDEA已安装完成（我的版本是:2017.2.2）3）开发环境：MacOS--------------------安装、配置Scala--------------------1. 安装Scala SDK先到htt.