- 博客(11)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 hadoop3.1.2 3个namenode异常
环境centos7.4hadoop3.1.2jdk1.83台机器搭建ha环境。三台机器都部署NN搭建完成后，nn1或nn2为active时，命令一切正常，没有异常显示，直接显示数据。但是。。。。。。。。。。。。。。。如果nn3为active时或报异常，提示前一节点nn2为standby状态，但显示的数据结果正常。原因暂时不详。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。...
2020-09-04 10:52:50
562
3
原创 flume采集非tmp结尾的文件入hdfs
flume采集非tmp结尾的文件入hdfsa2.sources = r2a2.channels = c2a2.sinks = k2### define sourcesa2.sources.r2.type = spooldir#采集文件路径a2.sources.r2.spoolDir = /data/flumefile/1#不采集tmp结尾文件a2.s...
2019-11-22 16:43:36
668
原创 spark aggregateByKey使用java版
RDDaggregateByKey操作官方api：aggregateByKey(U zeroValue, Function2<U,V,U> seqFunc, Function2<U,U,U> combFunc)U zeroValue为定义初始数据；Function2<U,V,U> seqFunc中第一个U是初始数据的U，v是传入数据，第二个U是返回数据；Func...
2018-04-27 15:24:22
1141
原创 Java中获取路径的各种方法
1、 java文件中获得路径Thread.currentThread().getContextClassLoader().getResource("") //获得资源文件(.class文件)所在路径ClassLoader.getSystemResource("")Class_Name.class.getClassLoader().getResource("")Class_Name.class .g...
2018-02-09 13:14:19
186
原创 flume+kafka
Flume启动命令：$bin/flume-ng agent --conf conf--conf-file conf/flume-conf.properties --name producer-Dflume.root.logger=INFO,consolebin/flume-ng agent --conf ./conf/ -f conf/flume-kafka.conf -Dflume.
2015-11-17 21:33:27
454
原创 linux挂盘
5.检查 用命令 fdisk -l（如过没有看到dm-3这样的磁盘，重启系统试试） 6．合并磁盘（本次服务器有两个TB的空间需要合在一起）# vgscan 扫描磁盘#pvcreate /dev/dm-2 把/dev/dm-2做成物理卷#vgcreate lvm（自己定义） /dev/dm-2 再创建个卷组L
2015-11-17 21:16:16
1719
转载 Linux常用命令
系统信息 arch 显示机器的处理器架构(1) uname -m 显示机器的处理器架构(2) uname -r 显示正在使用的内核版本 dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI) hdparm -i /dev/hda 罗列一个磁盘的架构特性 hdparm -tT /dev/sda 在磁盘上执行测试性读取操作 cat /proc/cpui
2015-11-11 21:13:13
263
原创 java jxl处理excel
通过jxl处理excel的简单demo，包括生成、读取和修改。package z.demo;import java.io.*;import jxl.*;import jxl.write.Label;import jxl.write.WritableSheet;import jxl.write.WritableWorkbook;public class JavaForEx
2015-02-26 08:30:55
274
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人