- 博客(6)
- 收藏
- 关注
RSS订阅转载 Linux中“＞/dev/null 2＞&1 &“的含义
在Linux中：0:表示键盘输入(stdin)1:表示标准输出(stdout),系统默认是12:表示错误输出(stderr)shell命令：command >/dev/null 2>&1 & 等同于 command 1>/dev/null 2>&1 &1)command:表示shell命令或一个可执行的程序2)>:表示重定向到3)/dev/null:表示Linux的空设备
2022-03-09 21:18:15
9312
2
原创 MapJoin
Common JoinCommon join的操作被编译成MapReduce任务。Map阶段把join操作的on条件字段作为输出的key，把select、where的字段和表名拼接成输出的value。下图是一个简单的案例：更通用的：可见有三个阶段Mapper从表中读取数据，并依据规则把k-v键值对发送到中间文件。中间文件在Shuffle阶段对这些键值对进行排序和合并。Reducer利用排序，把相同key的键值对发送到同一个reduce方法中进行joinMap JoinMap Joi
2021-07-31 17:47:31
308
原创 zookeeper选举机制
选举机制zxidzxid：事务编号，8字节的整型数字，但是zk把这个数字拆成了两部分，64位整数分为前32位和后32位。初始化的时候zxid是0，即：00000000000000000000000000000000 00000000000000000000000000000000每一次写请求都会增加后32位，假设现在进行了10次写请求（即使没有修改到数据）zxid：00000000000000000000000000000000 00000000000000000000000000001010
2021-07-29 20:10:02
290
原创 ERROR Shutdown broker because all log dirs in ... have failed
我的做法是把server.properties中指定的log.dirs的目录删除，然后重新创建一个同名目录，重新启动后，kafka自动把所有log信息加载进新创建的目录。
2021-06-27 10:44:47
1620
原创 在IDEA中添加Phoenix的thin客户端连接
检查启动的进程包括hdfs，zookeeper，hbase，phoenix的queryserver2. 在IDEA中添加DataBase3. 选择Phoenix的Driver，点击Go to Driver4. 在Drivers下选择Phoenix thinDriver File选择默认提供的即可，Class在 下拉框中选择queryserver的client，最后URL模板设置为：jdbc:phoenix:thin:url=http://{host}:{port};serializat.
2021-06-14 16:34:30
1790
2
原创 Hive执行任务报找不到主类错误
**原因**：由于我的集群是CentOS7系统，根据网上的资料显示，CentOS7的buffer/cache缓存机制会不断增加缓冲区，从而挤占内存，让程序可用的内存变少，导致Java垃圾回收机制把YarnChild进程回收，从而导致找不到main class。 **解决思路**：把内存中的缓存数据存入磁盘，然后手动释放内存 网上查到： 执行sync命令，多执行几遍 再依次执行： echo 1 > /proc/sys/vm/drop_caches echo 2 > /proc/s.
2021-05-28 17:51:22
735
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人