A宇-优快云博客

原创 Python同时安装兼容多版本

Linux下python升级步骤 Python2 ->Python3多数情况下，系统自动的Python版本是2.x或者yum直接安装的也是2.x但是，现在多数情况下建议使用3.x那么如何升级呢？python安装python 版本选择：https://www.python.org/ftp/python/下载：wget https://www.python.org/ftp/py...

2018-12-13 15:33:09 559

原创 hadoop-streaming调用Python脚本解析ua

1.从环境中找到hadoop-streaming-2.3.0-mr1-cdh5.1.2.jar的包[root@ayu python]$ cd $HADOOP_HOME && find ./ -name "*streaming*"./share/doc/hadoop-streaming./share/doc/hadoop-mapreduce1/streaming.pdf./s...

2018-10-22 14:35:28 435

原创 mapreduce自定义分区及分箱

分区 –数据发送给哪个reduce 分箱 –结果输出到哪个目录mapreduce分区/Partitionmapreduce默认使用HashPartitioner进行分区。源码如下：public class HashPartitioner<K, V> extends Partitioner<K, V> { /** Use {@link Object#hashCode()} to part

2017-09-11 14:20:37 1356

原创 JobControl的使用及获取计数器

JobControl的使用1.JobControl配置//1.首先声明一个JobControlJobControl jobControl = new JobControl("groupName");//2.然后写conf的配置Configuration conf = new Configuration();conf.set("name","value");...省略配置......一般这里

2017-09-08 14:40:33 647

原创 JAVA邮件发送

邮件发送接口定时发送邮件邮件报警程序运行成功／失败通知统计报表发送输入参数说明　：参数类型说明例子 title String 邮件标题邮件测试 content String 邮件内容该邮件由代码自动发送 emails List《String》邮件接收者 gaojunyu@admaster.com.cn 接收者定义

2017-09-05 11:32:56 613

原创 Json格式化输出

/*** 输入json数据* 得到格式化json数据退格用\t 换行用\r*/public static String format(StringjsonStr) { int level = 0; StringBuffer jsonForMatStr =new StringBuffer(); for(inti=0;ijsonStr.

2017-09-03 12:48:38 5313

原创 Hadoop_JavaAPI编程

MyEclipse或Eclipse软件编程通过API操作hadoop上的HDFS文件系统1.导入HDFS的jar包解压hadoop_2.6.0.tar.gz的安装包，选中所有放在lib中的jar包，右键，buildpath~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

2016-12-12 23:53:11 646

原创 Hadoop_HDFS_Shell操作

一.hadoop 命令Shell命令Hadoop包括一系列的类shell的命令，可直接和HDFS以及其他Hadoop支持的文件系统进行交互。bin/hadoop fs -help 命令列出所有Hadoop Shell支持的命令。而 bin/hadoop fs -help command-name 命令能显示关于某个命令的详细信息。这些命令支持大多数普通文件系统的操作，比如复制文件、改变

2016-12-12 23:52:04 568

原创 hadoop启动及使用

一.开启Hadoop开启Hadoop命令，进入Hadoop的安装目录，执行./start-all.sh正常状态下的JPS都出来了，并不代表所有节点全起来了，当怎么都有问题时，可以看一下集群的日志信息，看有没有报错单独启动某个节点，集群中缺一个都无法正常工作！sbin/start-all.sh该命令会把整个集群进行启动，但是如果有一个节点的某个进程

2016-12-12 23:49:56 2210

原创 Hadoop伪分布式配置

135Hadoop2.6.0伪分布式设置准备工作：把JDK和Hadoop安装包上传到linux系统（oracle(home中的用户)用户的根目录）hadoop用户安装操作，主要是因为安全性问题，root用户的权限太大，而集群建通信又需要配置SSH免密登录，所以尽量不适用rootJdk安装1. 在hadoop用户的根目录，Jdk解压，（hadoop用户操作）tar

2016-12-12 23:46:37 383