
大数据
tiankong_12345
如果你觉得迷茫了,那就先读书吧
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
ssh出错:sign_and_send_pubkey: signing failed: agent refused operation
说起ssh,我都用了好多次了,虽然不明白原理吧,但是每次操作,也能解决手头的问题。然而,平时很正经的ssh,今天突然不正经了。。。。于是赶紧google,找了两条命令,总算是好使了[root@node224 .ssh]# ssh node228sign_and_send_pubkey: signing failed: agent refused operationroot@n...原创 2018-05-11 16:42:05 · 2455 阅读 · 1 评论 -
Hadoop启动后:DataNode: IOException in offerService
2018-05-11 16:16:41,171 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: IOException in offerServicejava.io.EOFException: End of File Exception between local host is: "node228/192.168.255.128";...原创 2018-05-11 17:20:33 · 5602 阅读 · 2 评论 -
解决:nice: ‘$HADOOP_HOME/bin/hdfs’: No such file or directory
环境:ubuntu server 16.04 + jdk1.8 + hadoop2.7.6初学者,总会遇到问题。搭建伪分布式集群的时候,在格式化namenode没有问题,配置文件也没有问题,环境变量的路径也没有问题的情况下:因为之前搭建伪分布式的时候,环境变量也是配置在/etc/environment这个文件中,所以这次还是直接配置在该文件中。出现这个问题之后,jps以后看不到任何进程,日志里面也...原创 2018-06-02 22:33:50 · 8279 阅读 · 0 评论 -
Zookeeper启动成功,但无法查看status
安装好zookeeper-3.4.12,顺利启动:[root@node228 bin]# ./zkServer.sh startZooKeeper JMX enabled by defaultUsing config: /usr/zookeeper-3.4.12/bin/../conf/zoo.cfgStarting zookeeper ... STARTEDjps也可以看到进程:[roo...原创 2018-05-16 16:26:36 · 15441 阅读 · 11 评论 -
ZooKeeper:搭建伪分布式集群
因为自己的笔记本性能很一般,所以搭建的伪分布式集群来学习一下ZooKeeper。1.环境:ubuntu-16.04.4-server-amd64 + zookeeper-3.4.102.官网下载zookeeper:我下载的是:zookeeper-3.4.10.tarhttps://archive.apache.org/dist/zookeeper/3.在/usr目录下新建soft目录,并将下载的压...原创 2018-06-02 09:37:39 · 350 阅读 · 0 评论 -
Hadoop启动警告:util.NativeCodeLoader: Unable to load native-hadoop library for your platform
目录一、问题二、排查&解决1、网上搜相关问题2、先去看看 $HADOOP_HOME/lib/native 下有没有什么东西3、重启hadoop,没有警告了一、问题Hadoop启动出现警告:[hadoop@hadoop000 ~]$ start-all.shThis script is Deprecated. Instead use start-dfs.s...原创 2019-06-25 07:42:40 · 995 阅读 · 0 评论 -
Hbase启动警告:Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; ......
目录一、问题二、排查&解决一、问题Hbase启动时,出现警告:[hadoop@hadoop000 ~]$ start-hbase.shstarting master, logging to /home/hadoop/app/hbase-1.2.0-cdh5.7.0/logs/hbase-hadoop-master-hadoop000.outJava HotSpot(...原创 2019-06-25 08:01:50 · 23649 阅读 · 6 评论 -
分布式系统的一致性问题
目录前言1、CAP 原理2、BASE 和最终一致性3、Paxos 算法简介Paxos中的基本角色如下:Paxos 中可能还存在下列角色。下面介绍Paxos的具体流程。(1)第一阶段为发起提议阶段(2)第二阶段为决议的批准阶段前言在关系型数据库理论中,一致性存在于事务的 ACID 要求中,表示在事务发生前后,数据库的完整性约束没有被破环。在分布式系统中...原创 2019-09-26 14:13:05 · 1476 阅读 · 0 评论 -
NoSQL的常见模式
目录1、简介2、键值对存储模式2.1 简介2.2 特点2.3 实例3、文档式存储模式3.1 简介3.2 特点3.3 实例4、列式存储模式4.1 简介4.2 特点4.3 实例5、图存储模式5.1 简介5.2 特点5.3 实例1、简介关系型数据库,其基本模型都来自基本的关系数据模型,大多数实现了SQL语言支持、事务机制、完整性...原创 2019-10-02 11:03:44 · 2952 阅读 · 0 评论