fanchw的专栏

1、配置java环境：flume启动需要java环境，需要安装JDK，配置JAVA_HOME，TDH安装包里就有1.7版本的jdkrpm包（transwarp/transwarp/hadoop/jdk目录下），拷过去rpm -i 安装，然后配置环境变量。2、安装flume组件：安装包里有1.6版本的flume rpm包（transwarp/transwarp/hadoop/flume目录下），rpm-ivh flume-1.6.0+43.28791-1.el6.noarch.rpm–nodeps

[root@node11 ~]# sqoop import --connect 'jdbc:sqlserver://192.xxx.xxx.xxx:1433;username=xxxx;password=xxxx;database=ssws' --driver com.microsoft.sqlserver.jdbc.SQLServerDriver --columns "id,pump_type,_01SystemPressure,_28ArchiveTime,rowkey" -table 'xxx'

TDH-client下载最新版本没有lib包，这需要重新上传下镜像包，上传成功后，重新下载lib包就会有的。

2020-07-15 16:30:47,365 ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Can't get Master Kerberos principal for use as renewer at org.apache.hadoop.mapreduce.security.TokenCache.obtainTokensForNamenodesIntern

TDH kerbros java client 连接Hyperbase（Hbase）异常信息SASL authentication failed. The most likely cause is missing or invalid credentials. Consider 'kinit'.注意：这里一定要设置Hadoop的环境变量，如果Hadoop环境变量设置错误，或者没有设置，将会报如下的错误：Caused by: GSSException: No valid credentials pr

"C:\Program Files\Java\jdk1.8.0_251\bin\java.exe" "-javaagent:E:\Program Files\JetBrains\IntelliJ IDEA Community Edition 2019.3.3\lib\idea_rt.jar=61679:E:\Program Files\JetBrains\IntelliJ IDEA Community Edition 2019.3.3\bin" -Dfile.encoding=UTF-8 -classpat

1.获取认证密码klist -kt /etc/hyperbase1/conf/hyperbase.keytab[root@node11 ~]# klist -kt /etc/hyperbase1/conf/hyperbase.keytab Keytab name: FILE:/etc/hyperbase1/conf/hyperbase.keytabKVNO Timestamp Principal---- ------------------- ------------

scan 'xxx', {FILTER => org.apache.hadoop.hbase.filter.PrefixFilter.new(org.apache.hadoop.hbase.util.Bytes.toBytes('2020-06-03'))}

Hbase Rowkey的设计HBase 中，表会被划分为 1…n 个 Region，被托管在 RegionServer 中。Region 二个重要属性：StartKey 与 EndKey 表示这个 Region 维护的 rowKey 范围，当我们要读/写数据时，如果 rowKey 落在某个 start-end key 范围内，那么就会定位到目标 region 并且读/写到相关的数据，那怎么快速...

flume operation category read is not supported in state standby异常日志如下： 2020-04-23 11:53:49,549 (pool-3-thread-1) [WARN - org.apache.flume.source.SpoolDirectorySource$SpoolDirectoryRunnable.run(Spool...

Hadoop 管理namenode 结构目录namenode 被格式化后所产生的目录 ${dfs.name.dir} |—–current  |—-VERSION  |—-edits  |—-fsimage  |—–fstimeversion 文件 #Tue Mar 10 19:21:36 GMT 2009 namespaceID=13436844