Jay7925417的博客

原创 prowerdesigner利用sql脚本逆向工程

原创 hadoop集群安装及测试

在低配置虚拟机环境下测试安装hadoop集群环境。1、集群实现准备1.1 集群实现思路1.2 虚拟机配置建议配置：1G内存，2个CPU由于测试机器配置有限，实际设置4台虚拟机，每台分配245M内存，1个CPU1.3 集群节点分配为避免单点故障，NameNode 、ResourceManager均配置热备节点Park01 Zookeeper  NameNode (active)ResourceMan...

原创 flume-ng命令

flume-ng命令帮助：[root@hadoop01 apache-flume-1.6.0-bin]# ./bin/flume-ng helpUsage: ./flume-ng <command> [options]...commands:  help                      display this help text  agent                ...

原创 sqoop常用命令

命令：1、export ：将hadoop数据文件导入到数据库中2、import ：将数据导出到hadoop文件系统中参数解释：--connect  数据库连接命令--username 数据库用户名--password 数据库用户密码--export-dir 导入的hadoop文件（由hadoop导入到数据库）--target-dir 导出的hadoop文件（由数据库导出hadoop）--table...

原创 sqoop将hadoop数据导入mysql数据库异常

在hadoop上生成数据文件后，想将数据通过sqoop导入到mysql数据库中，执行命令：./sqoop export --connect jdbc:mysql://192.168.226.132:3306/zebra --username root --password 123456 --export-dir '/park2/zebra/result/part-r-00000' --table ...

原创 hadoop reducer不执行问题及解决

一、问题描述：在eclipse上通过hadoop插件自动生成mapper、reducer、main方法类实现wordcount的统计。待处理的文件内容：hello tomhello joyhello rosehello joyhello jerryhello tomhello rosehello joy测试了几次，处理的结果都为：hello 1hello 1hello 1hello 1hello ...

原创 hadoop jar打包执行问题及解决

1、运行hadoop jar ./WordCount.jar出现提示：RunJar jarFile [mainClass] args...2、运行时增加mainclass类名hadoop jar ./WordCount.jar WCDriver出现提示：Exception in thread "main" java.lang.ClassNotFoundException: WCDriver    ...

转载 eclipse hadoop插件安装及问题

1、安装步骤参考：https://blog.youkuaiyun.com/tanggao1314/article/details/51225240https://www.cnblogs.com/shishanyuan/p/4178732.html2、参考上面安装插件，结果第一步就失败了，eclipse上什么都没有https://blog.youkuaiyun.com/forking2009/article/details...