自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

A宇

rd

  • 博客(10)
  • 收藏
  • 关注

原创 Python同时安装兼容多版本

Linux下python升级步骤 Python2 ->Python3多数情况下,系统自动的Python版本是2.x或者yum直接安装的也是2.x但是,现在多数情况下建议使用3.x那么如何升级呢?python安装python 版本选择:https://www.python.org/ftp/python/下载:wget https://www.python.org/ftp/py...

2018-12-13 15:33:09 559

原创 hadoop-streaming调用Python脚本解析ua

1.从环境中找到hadoop-streaming-2.3.0-mr1-cdh5.1.2.jar的包[root@ayu python]$ cd $HADOOP_HOME && find ./ -name "*streaming*"./share/doc/hadoop-streaming./share/doc/hadoop-mapreduce1/streaming.pdf./s...

2018-10-22 14:35:28 435

原创 mapreduce自定义分区及分箱

分区 –数据发送给哪个reduce 分箱 –结果输出到哪个目录mapreduce分区/Partitionmapreduce默认使用HashPartitioner进行分区。 源码如下:public class HashPartitioner<K, V> extends Partitioner<K, V> { /** Use {@link Object#hashCode()} to part

2017-09-11 14:20:37 1356

原创 JobControl的使用及获取计数器

JobControl的使用1.JobControl配置//1.首先声明一个JobControlJobControl jobControl = new JobControl("groupName");//2.然后写conf的配置Configuration conf = new Configuration();conf.set("name","value");...省略配置......一般这里

2017-09-08 14:40:33 647

原创 JAVA邮件发送

邮件发送接口定时发送邮件邮件报警程序运行成功/失败通知统计报表发送输入参数说明 : 参数 类型 说明 例子 title String 邮件标题 邮件测试 content String 邮件内容 该邮件由代码自动发送 emails List《String》 邮件接收者 gaojunyu@admaster.com.cn 接收者定义

2017-09-05 11:32:56 613

原创 Json格式化输出

/*** 输入json数据* 得到格式化json数据  退格用\t 换行用\r*/public static String format(StringjsonStr) {    int level = 0;    StringBuffer jsonForMatStr =new StringBuffer();    for(inti=0;ijsonStr.

2017-09-03 12:48:38 5313

原创 Hadoop_JavaAPI编程

MyEclipse或Eclipse软件编程通过API操作hadoop上的HDFS文件系统1.导入HDFS的jar包解压hadoop_2.6.0.tar.gz的安装包,选中所有放在lib中的jar包,右键,buildpath~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

2016-12-12 23:53:11 646

原创 Hadoop_HDFS_Shell操作

一.hadoop 命令Shell命令Hadoop包括一系列的类shell的命令,可直接和HDFS以及其他Hadoop支持的文件系统进行交互。bin/hadoop fs -help 命令列出所有Hadoop Shell支持的命令。而 bin/hadoop fs -help command-name 命令能显示关于某个命令的详细信息。这些命令支持大多数普通文件系统的操作,比如复制文件、改变

2016-12-12 23:52:04 568

原创 hadoop启动及使用

一.开启Hadoop开启Hadoop命令,进入Hadoop的安装目录,执行./start-all.sh正常状态下的JPS都出来了,并不代表所有节点全起来了,当怎么都有问题时,可以看一下集群的日志信息,看有没有报错单独启动某个节点,集群中缺一个都无法正常工作!sbin/start-all.sh该命令会把整个集群进行启动,但是如果有一个节点的某个进程

2016-12-12 23:49:56 2210

原创 Hadoop伪分布式配置

135Hadoop2.6.0伪分布式设置准备工作:把JDK和Hadoop安装包上传到linux系统(oracle(home中的用户)用户的根目录)hadoop用户安装操作,主要是因为安全性问题,root用户的权限太大,而集群建通信又需要配置SSH免密登录,所以尽量不适用rootJdk安装1.      在hadoop用户的根目录,Jdk解压,(hadoop用户操作)tar

2016-12-12 23:46:37 383

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除