Hadoop
关注
分享
扫一扫
mqingo
java开发。
展开
-
RPC(Remote Procedure Call)
1.RPC是什么？RPC——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。RPC采用客户机/服务器模式。请求程序就是一个客户机，而服务提供程序就是一个服务...原创 2020-01-19 17:40:57 · 388 阅读 · 0 评论 -
hdfs操作
1.新建java工程。xia2.导包。导入/share/hadoop/hdfs 下的hadoop-hdfs-2.7.7.jar包,/share/hadoop/hdfs/lib 下的所有包，/share/hadoop/common 下的hadoop-common-2.7.7.jar包 ， /share/hadoop/common/lib的所有包。package week01;im...原创 2020-01-19 15:40:09 · 281 阅读 · 0 评论 -
win7下搭建hadoop环境，出现ERROR namenode.NameNode: Failed to start namenode.
参考文章：https://blog.youkuaiyun.com/qq_35535690/article/details/81976032hadoop环境已配置好，在使用hadoop namenode -format 命令启动运行的时候，报错将hdfs-site.xml文件中的namenode和datanode的路径改为<configuration> <prop...原创 2020-01-19 13:54:33 · 9080 阅读 · 0 评论 -
hadoop下载文件出现的问题java.lang.NullPointerException
hadoop下载文件 代码如下：package week01;import java.io.FileInputStream;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.commons.io.IOUtils;imp...原创 2020-01-17 18:47:42 · 862 阅读 · 0 评论 -
使用封装好的方法上传文件
package week01;import java.io.FileInputStream;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.commons.io.IOUtils;import org.apache.hadoop....原创 2020-01-17 18:07:01 · 321 阅读 · 0 评论 -
Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://week01:9000/aa/test.
hadoop程序问题，出现Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://week01:9000/aa/test.txt,expected:file:///解决方法是：①把core-site.xml文件和hdfs-site.xml文件放到src下即可。②在代码中设...原创 2020-01-17 17:44:37 · 1667 阅读 · 0 评论 -
HDFS（Hadoop Distributed FileSystem）
1.简介~ 高度容错性的分布式文件系统，适合部署在廉价的计算机上。~ Linux文件系统之上又构建了一个文件系统，~ 能提供高吞吐量的数据访问，非常适合大规模数据集上的应用~ 一个树形文件系统。可以创建、删除、移动或重命名文件和目录~ 一组计算机节点组成：一个NameNode提供元数据，多个DataNode存储块~ NameNode和DataNode以管理者-工作者模式运行...原创 2020-01-16 17:44:54 · 655 阅读 · 0 评论 -
hadoop架构、组件
1.hadoop架构？①底层（存储）②中间层（资源及数据管理）③上层（MapReduce、Impala、Spark等计算引擎）④顶层（服务）2.Hadoop组件？①Pig和HivePig是一种编程语言，它简化了Hadoop常见的工作任务。Hive在Hadoop中扮演数据仓库的角色。Hive添加数据的结构在HDFS上，并允许使用类似于SQL语法进行数据查询。②HB...原创 2020-01-16 16:29:55 · 504 阅读 · 0 评论 -
分布式文件系统
常见的分布式文件系统有，GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。Google学术论文，这是众多分布式文件系统的起源==================================Google File System（大规模分散文件系...原创 2020-01-16 16:03:37 · 282 阅读 · 0 评论 -
大数据初识
1.大数据的类型结构？四种。①结构化数据。包括预定义的数据类型、格式和结构的数据。例关系型数据库中的数据。②半结构化数据。具有可识别的模式并可解析的文本数据文件。例自描述和具有定义模式的XML数据文件。③准结构化数据。具有不规则数据格式的文本数据，使用工具可进行格式化。例包含不一致的数据值和格式化的网站点击数据。④非结构化数据。没有固定结构的数据，通常保存为不同类型的文件。例文本...原创 2020-01-16 11:17:24 · 751 阅读 · 0 评论 -
hdfs实现思想（机制）及hdfs shell
hdfs的实现思想：1.hdfs是通过分布式集群存储文件，为客户端提供了一个便捷的访问方式，即虚拟的访问目录结构2.文件存储到hdfs集群中去的时候是被切分成block（文件数据）的3.文件的block存放在若干台datanode节点上4.hdfs文件系统中的文件与真实的block之间有映射关系，由namenode进行管理5.每一个block在集群中会存储多个副本，好处是可以提高数据的可...原创 2020-01-15 16:29:15 · 286 阅读 · 0 评论 -
java.io.IOException: Cannot create directory /home/app/hadoop-2.4.1/data/dfs/name/current
初始化hadoop时出现这个问题java.io.IOException: Cannot create directory /home/app/hadoop-2.4.1/data/dfs/name/current解决：①查看配置的路径，是否由于路径原因导致的。 ②权限不足。给予权限即可。我出现这个问题的原因是路径问题。修改完core-site.xml中的路径后，重...原创 2020-01-15 11:39:50 · 2595 阅读 · 0 评论 -
hadoop搭建伪分布式环境
1.准备Linux环境1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段、子网掩码 -> apply -> ok 回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 ->...原创 2020-01-15 10:41:47 · 251 阅读 · 0 评论 -
hadoop初识
1.hadoop是什么？hadoop之父是Doug Cutting。是由很多技术框架组成的生态系统，包括数据库（nosql）。Apache开源框架集群，做分布式计算和离线运算、实时运算。受Google三篇论文启发出现的。（GFS、MapReduce、Big Table数据库） GFS、MapReduce、Hbase搜索引擎的原理？...原创 2020-01-14 19:14:36 · 285 阅读 · 0 评论 -
Hadoop----Linux
linux: 操作系统,应用服务器上 常用命令: cd 切换命令 cd / cd ~ cd ../../ cd xx ll 展示所有的文件 ll -h 友好的展示 mkdir 创建目录 mk...原创 2018-11-08 23:48:16 · 134 阅读 · 0 评论