大C的博客

8020拒绝连接配置完历史服务器之后测试SaprkPi案例报以上错误。原因在于spark-env.sh和spark-defaults.conf中配置logDierctory的路径端口为8020(默认端口)，这样不对，因为spark产生的日志文件保存到HDFS中，所以spark访问HDFS的URI应该与Hadoop的core-site.xml中fs.defaultFS的路径保持一致。然而，我在core-site.xml总配置fs.defaultFS的端口为9000，与8020不同，故spark保存日.

第一章：HDFS的API操作第二章：HDFS的I/O流操作第三章：HDFS的数据流操作

转载文章：公众号：程序员小灰《什么是中台？》终于有人把数据中台用白话说清楚了了解数据中台的前提要先了解什么是中台？中台：顾名思义，是处于前台和后台之间的一个部分。而前台和后台是指在传统的企业中，无论项目内部如何复杂，都可以分为“前台” 和 “后台”这两个部分。什么是前台？首先，这里所说的“前台”和“前端”并不是一回事。所谓前台是直接面对客户或者为客户创造产品和客...

HDFS客户端操作（开发重点）1. HDFS客户端环境准备2. HDFS的API操作3. HDFS的I/O流操作

1. 前期准备工作1.1 CentOS联网配置CentOS能连接外网。Linux虚拟机pingwww.baidu.com是畅通的注意：采用root角色编译，减少文件夹权限出现问题1.2 jar包准备(hadoop源码、JDK8、maven、ant、protobuf)（1）hadoop-2.7.2-src.tar.gz（2）jdk-8u144-linux-x64.tar.gz（3）a...

不同版本的区别在下载Hadoop安装包时，看到多个版本的你是不是很头痛：src.tar.gz 是压缩后的源码文件，需要自己编译才能安装src.tar.gz.mds 是 src.tar.gz 的校验和(Checksum)文件.tar.gz 是经过压缩的编译好的安装文件.tar.gz.mds 是 .tar.gz 的 Checksum 文件一般用于Linux安装Hadoop都会...

时间同步的方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间过程

准备、过程虚拟机：VMware Workstation 12 Pro操作系统：CentOS Linux release 7.2.1511 (Core)控制终端：Secure CRTHadoop版本：Hadoop-2.7.3JDk版本：jdk1.8.0_401）准备3台虚拟机（关闭防火墙、静态ip、主机名称）2）安装JDK3）配置环境变量4）安装Hadoop5）配置环境变量...

hadoop读取完毕，在往本地保存文件时出现的错误：解决方法：在win10中配置hadoop开发环境时没有在c:\windows\system32目录中拷贝hadoop.dll文件

一 、使用的软件插件：hadoop-eclipse-plugin-2.7.3.jarwinutils.exe hadoop.dll二 、解压hadoop安装包hadoop-2.7.3.tar.gz到自定义的一个盘里（存放路径最好是全英文）三 、把winutils.exe 、hadoop.dll两个文件复制粘贴到hadoop-2.7.3\bin目录下四 、在Windows的...

我采用的是用建立的多台虚拟机充当机器一 、使用的软件：虚拟机：VMware Workstation 12 Pro操作系统：CentOS Linux release 7.2.1511 (Core)控制终端：Secure CRTHadoop版本：Hadoop-2.7.3JDk版本：jdk1.8.0_40（小提示：Cent OS 7版本的操作命令与7以前的版本有些不同，具体请看链接:...

首先打开SecureCRT点击菜单栏里的File下的Quick Connect，或者直接点击图中红方框圈的地方，再或者快捷键Alt+Q进入连接界面Hostname：输入需要连接服务器的IP地址Username：输入用户名Port：就是默认的22输入完毕后直接点击Connect就行了。输入用户的密码，如果经常连接的话可以选上Save password，后点击Ok就可以了，连接成功如...

linux中当启动start-dfs.sh时报以上错误，说明ssh服务没有开启，输入：$ ssh localhost查看ssh的状态。输入： # /etc/init.d/sshd start开启ssh服务。开启之后，在查看一下ssh的状态如果显示最后一次登录的时间就说明开启成功。=====================================================...

1、在执行start-dfs.sh后hdfs也顺利启起来了，名称节点、数据节点、第二名称节点也都启起来了，就是每次启动一个节点时都会报一个command not found 的错误（可恶心），这个错误也并不影响hdfs的使用，去网上查了好多都每有这个错误解决的办法，后来直接查axport: command not found，参考了Linux下无论输入什么命令都提示“-bash: Export:...