逗比123号-优快云博客

原创 spark 2.1 安装

前提：hadoop2.6集群，zookeeper集群机器： master 192.168.0.110 slave1 192.168.0.111 slave2 192.168.0.112 node1 192.168.0.1131.下载spar

2017-08-17 14:47:58 555

原创 eclipse连接hadoop 2.6 ha配置

以前都是直接在linux上运行的，昨天配置eclipse连接hadoop，可以正常连接hdfs，但是运行mapreduce的时候就一直有错误，今天终于解决了。我也不知道为什么有这么多错误，我只写我能运行的步骤。 1. 我的hadoop是2.6版本的，就下hadoop-eclipse-plugin-2.6.0.jar，然后放到eclipse插件位置，重启eclipse。

2017-08-16 11:32:02 1384

原创 java8 新的时期和时间API

java.time包中提供了许多新类。 LocalDate：获取日期 LocalDate date1 = LocalDate.of(2017, 8, 11); LocalDate date2 = LocalDate.now(); int year = date1.getYear(); int month = date1.getMonthValue(); int

2017-08-11 13:48:05 1368

原创 java8 Optional

Optional表示值可能存在可能不存在，用来替代null。可以把有可能为空的变量声明为Optional。1.Optional的几种应用 Optional对象的创建： Optional a = Optional.empty(); Optional b = Optional.of(new A("tom",18)); Optional c = Optional.ofNu

2017-08-10 17:14:35 382

原创 java8 stream流 collect

流的收集器非常有用。可用于将流元素归约和汇总为一个值，元素分组，元素分区。1.归约与汇总静态导入java.util.stream.Collectors.*。 1.1求值 Collectors.maxBy和Collectors.minBy，来计算流中的最大或最小值。参数为Comparator。 Optional max = Stream

2017-08-10 14:56:37 2851 1

原创 java8 stream流入门

1.流简介 Stream的优点：声明性，可复合，可并行。这三个特性使得stream操作更简洁，更灵活，更高效。 Stream的操作有两个特点：可以多个操作链接起来运行；内部迭代；集合和流的区别：集合包含目前的所有元素，你要什么就去集合里取。流是你要什么，然后去计算得到你需要的值。流是按照需求才生成的。流只能遍历一次，用完之后就不存在了，只能重新创建流才能

2017-08-10 10:23:25 7504 2

原创 java8 方法引用

方法引用可以表示为调用特点方法的lambda表达式的一种快捷写法。方法引用就是根据已有的方法来创建lambda表达式，显示的指明方法的名称，这样可读性就更好。当使用方法引用时，目标引用在::前，方法名称在后面。例如A::getNum。表示引用A中的方法getNum。方法不要加括号，因为没有实际调用这个方法。A::getNum就是(A a)->a.getNum()的简写。一些例子：

2017-08-07 17:58:28 926

原创 java8 lambda表达式

lambda表达式可以理解为一个匿名类，没有名称，有参数，函数主题，返回值，可能还有一个可以抛出的异常列表。 lambda表达式基本语法： ([parameters,...]) -> expression 或者 ([parameters,...]) -> {statements;...} 例如： () -> {} (String s)

2017-08-07 16:31:59 400

原创 hadoop配置ha后，hbase配置的变化

hadoop配置完ha后，hbase的配置有一些变化。 hbase-site.xmlhbase.rootdirhdfs://myha/hbase 还要把hdfs-site.xml和core-site.xml复制到hbase的conf目录下。不然会报找不到myha的错误。 hbase的ha配置就是在conf目录下，配置backup-masters文件，里

2017-08-02 10:24:39 1375 1

原创 hadoop ha配置后一个namenode不能自动failover，相当于没有配置ha

配置了hadoop ha后，namenode kill后，另一个namenode没有变为active，相当于ha配置白配了。然后看了官网的ha配置，发现是dfs.ha.fencing.methods属性的问题。我原先是这样配置的： dfs.ha.fencing.methods sshfence dfs.ha.fencing.ssh.private-key

2017-08-01 21:11:24 884

原创 hadoop2.6.5 ha配置与yarn ha配置

前提：java，ssh，hosts都配置完了。 master: namenode ,1.

2017-08-01 20:43:01 1576

原创 nexus发布项目与创建工厂

1.在pom文件中配置 java-release java release http://localhost:8081/nexus/content/repositories/releases/ java-snapshot java snapshot http://localhost:8081/nexus/content/repositories/s

2017-07-26 16:58:15 377

原创 nexus安装与配置

nexus相当于私服，maven项目不用直接去中央工厂中找jar包（很慢），先从nexus中找jar包（快），nexus中找不到，nexus在从中央工厂中找。1.下载安装到https://www.sonatype.com/download-oss-sonatype下载，我下载的是nexus-2.14.4-03-bundle.zip。解压后得到两个文件夹。把nexu

2017-07-26 15:53:23 383

原创 linux中安装svn

1.安装svnyum -y install subversion2.启动服务svnserve -d -r /var/svn //重启要重启启动3.创建版本库svnadmin create /var/svn/hello4.修改配置文件svnserve.confanon-access = noneauth-access = writepasswo

2017-07-25 17:42:48 239

原创 maven杂七杂八的东西

maven的命令： clean清空编译后的文件。 compile编译 test测试 install 把项目导入到仓库中，一个项目引用另一个项目时用到。 build--eclipse中maven的命令，其中可以自己定义maven的操作 package 项目打包。 maven项目的jar包先从本地仓库中获取，本地仓库没

2017-07-25 16:27:08 257

原创 maven install时出错

maven项目运行install是出错： Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compile (default-compile)。。。。。。。。。。No compiler is provided in this environment. Perhaps you are r

2017-07-25 15:48:56 515

原创 maven的依赖与继承

1.包的依赖 dependency的包有几个作用域： runtime表示运行的时候依赖，编译的时候不依赖。例如连接数据库的包， compile：编译的时候依赖。默认 provided：编译测试的时候有效，最后生成的项目包中没有这种jar包。例如servlet-api， test：测试的时候有效，其他时

2017-07-25 15:41:23 998

原创 maven安装

maven是一个非常好的jar包管理工具。1.安装到官网下载apache-maven-xxx-bin.zip,解压。把安装目录路径配置到M2_HOME，再到path中加入%M2_HOME%/bin。打开cmd用命令mvn -v测试一下。D:\test>mvn -vApache Maven 3.5.0 (ff8f5e7444045639af65f6095c62210b

2017-07-25 10:54:42 376

原创 svn权限控制

1.进入到一个资源库中的conf中修改svnserve.conf.anon-access = none //匿名访问，可以为read(只读权限),write（读写权限）,none(eclipse中要显示历史资源就要配置为none)auth-access = write //授权访问 read,write,nonepassword-db = passwd //授权用户文件为p

2017-07-24 17:37:23 905

原创 eclipse操作svn

1.eclipse中安装svn插件可以在eclipse中直接安装插件，也可以先下载在放到eclipse的目录中。我是先下载的，eclipse_svn_site-1.10.5.zip解压，把目录直接放到eclipse的dropins目录中，重启，在window的preference的team中可以看到SVN。项目圆筒图标是服务器版本，？表示未加入版本控制，+表示加

2017-07-24 17:13:50 350

原创 svn简介windows安装与命令

SVN就是一款版本控制的软件，可用于备份代码，版本控制，多人共同开发等。 svn采取服务器/客户端模式，服务器版本库保存项目文件所有的版本，客户端保存一个项目的副本，通过checkout,update,commit等命令交互。1.安装到https://sourceforge.net/projects/win32svn/files/?source=navbar 下载

2017-07-24 15:43:14 1697

原创用栈模拟汉诺塔问题

在经典的汉诺塔问题中，有 3 个塔和 N 个可用来堆砌成塔的不同大小的盘子。要求盘子必须按照从小到大的顺序从上往下堆（如，任意一个盘子，其必须堆在比它大的盘子上面）。同时，你必须满足以下限制条件：(1) 每次只能移动一个盘子。(2) 每个盘子从堆的顶部被移动后，只能置放于下一个堆中。(3) 每个盘子只能放在比它大的盘子上面。请写一段程序，实现将第一个堆的盘子移动到最后一个

2017-07-21 15:11:55 378

原创 mapreduce引用第三方jar包

我的mapreduce运行要查询redis的数据，但是报错了。查了资料要引用第三方的jar包。在Job中添加第三方包。tagJob.addFileToClassPath(new Path("/third_lib/jedis-2.9.0.jar"));tagJob.addFileToClassPath(new Path("/third_lib/commons-pool2-2.2.ja

2017-07-14 15:32:57 960

原创 zookeeper中没有hbase的master

hbase出了一个错，hbase(main):001:0> listTABLE

2017-07-14 15:25:37 3745 1

原创 hbase集群安装

1.安装java。。。。。2.安装hadoop集群。。。。。3.安装zookeeper集群。。。。。4.安装hbase集群4.1 下载解压。。。。。4.2 修改配置文件hbase-env.sh# The java implementation to use. Java 1.6 required.export JAVA_HOME

2017-07-11 10:36:52 251

原创 hbase shell Filter

数据：hbase(main):046:0> scan 'hbaseFilter'ROW COLUMN+CELL

2017-07-04 16:41:12 7265

原创 hbase Filter

get和sacn可以用过滤器。1.FilterList 这是一个过滤器列表，可以指定FilterList.Operator.MUST_PASS_ALL（列表内的过滤器要全部满足，相当于与）和FilterList.Operator.MUST_PASS_ONE（列表的过滤器只要满足一项就行了，相当于或，这是默认）。list里面可以包含list。 Scan scan = new Sc

2017-07-04 14:32:16 369

原创 mapreduce读取hbase值，结果输出到多个hbase表中

package hadoop;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.had

2017-06-30 16:06:05 1144

原创 mapreduce读取hbase内容，结果放到hbase中

package hadoop;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.had

2017-06-30 15:13:07 591

原创 mapreduce读取文件内容输出到hbase

package hadoop;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop

2017-06-30 14:48:18 921

原创 mapreduce读取hbase数据输出到文件中

package hadoop;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop

2017-06-30 14:18:24 2502

原创 mapreduce，自定义分区，分组，排序实现join

join1.txt:1 a 2 b3 c4 djoin2.txt:1 1111 2222 3332 4443 5553 6664 7774 8884 999自定义类：package myhadoop;import java.io.DataInput;import java.io.DataOutput;import java.io.

2017-06-28 17:43:03 420

原创 mapreduce，自定义排序，分区，分组实现按照年份升序排序，温度降序排序

自定义类：package myhadoop;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.WritableComparable;public class KeyClass implements WritableCo

2017-06-28 16:11:30 2310 1

原创 jobcontrol

jobcontrol可以实现多个job结合起来运行。下面就是有两个job的jobcontrol，第一个job的输出是第二个job的输入。package hadoop;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import

2017-06-20 15:04:05 818

原创 mapreduce输出多文件出错

运行mapreduce多文件输出试报错。17/06/19 17:25:45 INFO mapreduce.Job: Task Id : attempt_1497864070486_0001_r_000000_2, Status : FAILEDError: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protoco

2017-06-19 17:54:45 1322

原创 hadoop2.6完全分布式安装

192.168.0.110 master192.168.0.111 slave1192.168.0.112 slave21.配置jdk另一博客里，三台都要配。2.添加用户hadoopgroupadd hadoopuseradd -g hadoop hadooppasswd hadoopvi /etc/sudoers配置hadoop ALL=(ALL)

2017-06-16 22:01:28 393

原创 java连接redis集群

package redis;import java.util.HashSet;import java.util.Set;import org.apache.commons.pool2.impl.GenericObjectPoolConfig;import redis.clients.jedis.HostAndPort;import redis.clients.jedis.Jedis

2017-06-13 09:57:35 5901

原创 java简单操作zookeeper

package zookeeper;import org.apache.zookeeper.CreateMode;import org.apache.zookeeper.WatchedEvent;import org.apache.zookeeper.Watcher;import org.apache.zookeeper.ZooDefs.Ids;import org.apache.zo

2017-06-13 09:56:01 343

原创 redis-cli启动时可以带的参数

本文所有内容是从https://redis.io/topics/rediscli来的1.直接使用redis-cli来使用命令redis-cli get name #返回name的值redis-cli get name >/usr/local/redis.txt2.redis-cli连接host,port,password,database（最有用）redis-cli -

2017-06-13 08:59:00 4295

原创 redis 3.2.9集群安装

1.安装redis 另一篇博客里。2.配置redis.conf三台服务器master 7000 7001 7002slave1 7000 7001 7002slave2 7000 7001 7002port 7000 bind master daemonize yescluster-enabled yescluster-config-file no

2017-06-12 22:52:32 1774