
Hadoop
文章平均质量分 55
一个奔跑的C
一名C语言的忠诚者!
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Spark运行过程中的错误
8020拒绝连接配置完历史服务器之后测试SaprkPi案例报以上错误。原因在于spark-env.sh和spark-defaults.conf中配置logDierctory的路径端口为8020(默认端口),这样不对,因为spark产生的日志文件保存到HDFS中,所以spark访问HDFS的URI应该与Hadoop的core-site.xml中fs.defaultFS的路径保持一致。然而,我在core-site.xml总配置fs.defaultFS的端口为9000,与8020不同,故spark保存日.原创 2021-01-20 19:53:51 · 635 阅读 · 1 评论 -
Hadoop学习笔记(二)Hadoop 分布式文件系统 HDFS:2.HDFS 操作
第一章:HDFS的API操作第二章:HDFS的I/O流操作第三章:HDFS的数据流操作原创 2020-03-12 20:31:00 · 257 阅读 · 2 评论 -
关于数据中台的了解
转载文章:公众号:程序员小灰《什么是中台?》终于有人把数据中台用白话说清楚了了解数据中台的前提要先了解什么是中台?中台:顾名思义,是处于前台和后台之间的一个部分。而前台和后台是指在传统的企业中,无论项目内部如何复杂,都可以分为“前台” 和 “后台”这两个部分。什么是前台?首先,这里所说的“前台”和“前端”并不是一回事。所谓前台是直接面对客户或者为客户创造产品和客...原创 2020-02-28 15:18:31 · 1028 阅读 · 0 评论 -
Hadoop学习笔记(二)Hadoop 分布式文件系统 HDFS:1.HDFS基础
HDFS客户端操作(开发重点)1. HDFS客户端环境准备2. HDFS的API操作3. HDFS的I/O流操作原创 2020-02-19 20:34:20 · 384 阅读 · 0 评论 -
Hadoop学习笔记(一)Hadoop快速入门:3.编译源码
1. 前期准备工作1.1 CentOS联网配置CentOS能连接外网。Linux虚拟机pingwww.baidu.com是畅通的注意:采用root角色编译,减少文件夹权限出现问题1.2 jar包准备(hadoop源码、JDK8、maven、ant、protobuf)(1)hadoop-2.7.2-src.tar.gz(2)jdk-8u144-linux-x64.tar.gz(3)a...原创 2020-02-18 12:02:25 · 260 阅读 · 0 评论 -
Hadoop的基础知识
不同版本的区别在下载Hadoop安装包时,看到多个版本的你是不是很头痛:src.tar.gz 是压缩后的源码文件,需要自己编译才能安装src.tar.gz.mds 是 src.tar.gz 的校验和(Checksum)文件.tar.gz 是经过压缩的编译好的安装文件.tar.gz.mds 是 .tar.gz 的 Checksum 文件一般用于Linux安装Hadoop都会...原创 2020-02-17 21:52:51 · 620 阅读 · 0 评论 -
Hadoop学习笔记(一)Hadoop快速入门:2.集群时间同步
时间同步的方式:找一个机器,作为时间服务器,所有的机器与这台集群时间进行定时的同步,比如,每隔十分钟,同步一次时间过程原创 2020-02-17 21:31:48 · 174 阅读 · 0 评论 -
Hadoop学习笔记(一)Hadoop快速入门:1.完全分布式运行模式
准备、过程虚拟机:VMware Workstation 12 Pro操作系统:CentOS Linux release 7.2.1511 (Core)控制终端:Secure CRTHadoop版本:Hadoop-2.7.3JDk版本:jdk1.8.0_401)准备3台虚拟机(关闭防火墙、静态ip、主机名称)2)安装JDK3)配置环境变量4)安装Hadoop5)配置环境变量...原创 2020-02-17 21:26:42 · 230 阅读 · 0 评论 -
eclipse里运行hadoop程序出现的错误总结
hadoop读取完毕,在往本地保存文件时出现的错误:解决方法:在win10中配置hadoop开发环境时没有在c:\windows\system32目录中拷贝hadoop.dll文件原创 2020-02-15 22:17:08 · 1471 阅读 · 0 评论 -
Windows10下搭建eclipse开发hadoop的开发环境
一 、使用的软件插件:hadoop-eclipse-plugin-2.7.3.jarwinutils.exe hadoop.dll二 、解压hadoop安装包hadoop-2.7.3.tar.gz到自定义的一个盘里(存放路径最好是全英文)三 、把winutils.exe 、hadoop.dll两个文件复制粘贴到hadoop-2.7.3\bin目录下四 、在Windows的...原创 2020-02-12 17:57:59 · 2057 阅读 · 2 评论 -
Hadoop 搭建一个简单集群的步骤及过程中出现的错误
我采用的是用建立的多台虚拟机充当机器一 、使用的软件:虚拟机:VMware Workstation 12 Pro操作系统:CentOS Linux release 7.2.1511 (Core)控制终端:Secure CRTHadoop版本:Hadoop-2.7.3JDk版本:jdk1.8.0_40(小提示:Cent OS 7版本的操作命令与7以前的版本有些不同,具体请看链接:...原创 2020-02-11 20:19:26 · 776 阅读 · 0 评论 -
SecureCRT连接服务器步骤及终端显示中文乱码的处理
首先打开SecureCRT点击菜单栏里的File下的Quick Connect,或者直接点击图中红方框圈的地方,再或者快捷键Alt+Q进入连接界面Hostname:输入需要连接服务器的IP地址Username:输入用户名Port:就是默认的22输入完毕后直接点击Connect就行了。输入用户的密码,如果经常连接的话可以选上Save password,后点击Ok就可以了,连接成功如...原创 2020-02-10 11:06:25 · 4607 阅读 · 1 评论 -
ssh: connect to host ... port 22: Connection refused错误
linux中当启动start-dfs.sh时报以上错误,说明ssh服务没有开启,输入:$ ssh localhost查看ssh的状态。输入: # /etc/init.d/sshd start开启ssh服务。开启之后,在查看一下ssh的状态如果显示最后一次登录的时间就说明开启成功。=====================================================...原创 2019-10-31 00:00:53 · 22742 阅读 · 0 评论 -
记Hadoop伪分布式安装过程中出现的问题
1、在执行start-dfs.sh后hdfs也顺利启起来了,名称节点、数据节点、第二名称节点也都启起来了,就是每次启动一个节点时都会报一个command not found 的错误(可恶心),这个错误也并不影响hdfs的使用,去网上查了好多都每有这个错误解决的办法,后来直接查axport: command not found,参考了Linux下无论输入什么命令都提示“-bash: Export:...原创 2019-10-16 09:36:24 · 882 阅读 · 0 评论