- 博客(33)
- 收藏
- 关注
RSS订阅转载 windows环境搭建hadoop
1、hadoop官网下载安装包 2、除了Hadoop安装包和JDK外,还要下载的一个第三方工具是名为winutils的一套类库, 下载地址: https://github.com/steveloughran/winutils 注意比如你hadoop下载的是2.8版本, 那么这个类...
2018-04-25 09:58:00
169
转载 hive-phoenix映射表
INTERNAL tables hive管理表的生命周期和数据，hive端建表删掉，phoenix端也一起建表删表 create table phoenix_table ( s1 string, i1 int, f1 float, d1 double ) S...
2018-03-26 14:58:00
1107
转载 pom
<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSc...
2018-03-01 17:44:00
344
转载 java 8
判断字符串是否为空 import com.google.common.base.Strings;Strings.isNullOrEmpty(appkey) 切割字符串 import com.google.common.base.Joiner;import com.google.co...
2017-11-02 18:00:00
145
转载 hbase & phoenix
导出 hbase org.apache.hadoop.hbase.mapreduce.Export tbl_log:20160316 /backup/tbl_log_20160316 hdfs dfs -get /backup/tbl_log_20160316 . 导入 hdfs dfs -...
2017-09-13 16:12:00
107
转载 Java8新特性----数组，流
数组声明 List<Integer> list =Arrays.asList(1,4,7,9,3,1); 遍历数组 Arrays.asList( "a", "e", "d" ).forEach(e -> System.out.println( e ) ); ...
2017-08-31 16:31:00
352
转载 Java语言的新特性----时间类
Lambda表达式和函数式接口 Lambda表达式（也称为闭包）是Java 8中最大和最令人期待的语言改变。它允许我们将函数当成参数传递给某个方法，或者把代码本身当作数据处理 最简单的Lambda表达式可由逗号分隔的参数列表、->符号和语句块组成 Date/Time API ...
2017-08-31 16:26:00
108
转载 Hive Join 和Hive SQL的优化
Hive中Join的原理和机制 http://lxw1234.com/archives/2015/06/313.htm Hive中Join的类型和用法 http://lxw1234.com/archives/2015/06/315.htm Hive SQL的优化 http://l...
2017-08-28 11:16:00
139
转载 hive窗口函数
hive窗口函数 LAG,LEAD,FIRST_VALUE,LAST_VALUE http://lxw1234.com/archives/2015/04/190.htm Hive分析窗口函数 CUME_DIST,PERCENT_RANK http://lxw1234.com/a...
2017-08-25 10:59:00
107
转载 java8函数式编程
Java8最大的变化是引入了Lambda表达式。 Lambda表达式：一种紧凑的、传递行为的方式。 Lambda语法 包含三个部分 一个括号内用逗号分隔的形式参数，参数是函数式接口里面方法的参数 一个箭头符号：-> 方法体，可以是表达式和代码块，方法体函数式接口里...
2017-05-22 11:38:00
88
转载 hive sql 语法总结
1、limit 语句 限制返回的行数 2、列别名 count(1) as times 3、嵌套select语句 select xxx from (select xx from table1) a ; 4、case ...when ...then语句 用户处理单个列的查询结...
2017-05-09 17:31:00
167
转载 hive sql 函数
一、数学函数 二、聚合函数 三、其他内置函数 hive分析函数 union 和union all union 操作符用于合并两个或多个 SELECT 语句的结果集(追加到后面)。 如果允许重复的值，请使用 UNION ALL...
2017-05-05 17:21:00
327
转载 hiveServer2 java thrift api
hive JDBC的连接方式，只能获取到hive执行的最终结果。 如果想要获取执行过程中的状态，并且使用取消执行的功能。需要使用hiveServer2 thrift的方式。 执行状态在TOperationState 类中，包括： INITIALIZED_STATE(0), RU...
2017-03-07 16:23:00
533
转载 rabbitmq安装
步骤 一、单机部署 1、下载erlang和rabbitmq安装包 2、安装rabbitmq （1）进入安装目录 （2）安装erlang rpm -ivh erla...
2017-02-27 15:20:00
94
转载 window下node.js安装
下载安装文件 进node.js官网，http://nodejs.cn/download/ 我下载的文件是这个。下载的要和自己的系统匹配，不然会出现错误的。 安装文件 双击安装 nodejs，默认是安装在C:\Progra...
2016-12-30 14:45:00
82
转载 Nginx二级目录、域名部署
一、部署 1、准备工作：gcc、automake、pcre（支持rewirte模块）、zlib（支持gzip模块）、openssl（支持ssl模块）等三方库。 yum -y install gcc gcc-c++ automake pcre pcre-devel zlib zlib-de...
2016-12-21 16:45:00
366
转载 高效java
一、创建、销毁对象 1、考虑用静态工厂方法替代构造器 2、遇到多个构造器参数时要考虑用构建器 静态工厂和构造器有一个共同的局限性，它们不能很好的扩展到大量的可选参数，程序员一向习惯采用重叠构造器，在这种模式下，提供第一个只有必要参数的构造器，第二个构造器有一个可选参数，最后一个构造...
2016-11-21 11:36:00
101
转载 JAVA多线程学习
一、实现线程的两种方式 1、继承Thread 当一个类继承Thread类后，就可以在该类中覆盖run()方法，将实现该线程功能的代码写在run()中，调用start()方法执行线程。 2、实现Runnable接口 实现Runnable接口，会创建一个Thread对象，将Runna...
2016-11-16 11:40:00
109
转载 hive命令、语法
1创建操作 1.1创建表 CREATE TABLE pokes (foo INT, bar STRING); 1.2基于现有的表结构创建一个新表 create table new_table like records; 1.3创建视图 CREATE VIEW val...
2016-11-10 11:00:00
118
转载 mysql命令、语法
第一部分:mysql 一、安装 1、复制my-default.ini到my.ini，编辑my.ini文件 # These are commonly set, remove the # and set as required.basedir = D:\SoftAnZhuang\my...
2016-11-09 16:32:00
120
转载 hadoop学习笔记
一、概念 1、分布式文件系统：管理网络中，跨多台计算机存储的文件系统，被称为分布式文件系统。 2、HDFS用流式数据访问模式来存储超大文件。 3、namenode:管理者，管理文件系统的命名空间，在内存中保存文件系统中每个文件和数据块的引用关系。没有namenode，文件系统将无法使...
2016-11-09 10:58:00
76
转载 mongodb副本集搭建
一、环境搭建 1、准备三台机器、配置mongo.conf文件 Master节点的配置文件添加以下信息 ogpath=/data/logs/mongo/master.loglogappend=truefork=trueport=9084dbpath=/data/mongodb_...
2016-11-03 14:53:00
93
转载 spark使用alluxio存储
spark集群想要使用alluxio集群作为文件存储系统。 alluxio集群搭建：https://my.oschina.net/u/2874009/blog/737773 spark集群搭建：https://my.oschina.net/u/2874009/blog/733919 下载...
2016-11-01 17:00:00
158
转载 zookeeper集群部署
Zookeeper 为分布式程序提供协调服务。作为第三方管理一些共享数据，zookeeper本身非常可靠，本身就是一个分布式集群提供服务（死不掉）。 zookeeper最主要的功能： 1、保管客户端提交的数据（极少量的数据）：每一份数据在zookeeper叫做一个znode，znode...
2016-09-02 17:19:00
82
转载 hadoop安装
Hadoop伪分布式安装 1、解压hadoop包 2、进入 /etc/hadoop目录下，修改配置文件 2.1 修改core-site.xml 2.2 修改hadoop-env.sh 主要是修改里面的JAVA_HOME，如果已经添加到环境变量，就不用修改，否则，要把java的安...
2016-08-30 15:57:00
112
转载 Spark与hadoop的异同
解决问题的层面不一样 首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不需要购买和维护昂贵的服务器硬件。 同时，Ha...
2016-08-30 14:42:00
248
转载 Alluxio搭建 单机和集群
Alluxio安装部署 1.创建目录： 1.mkdir /data/alluxio 2.cd /data/alluxio 下载alluxio-1.2.0-hadoop2.6-bin.tar.gz 版本，解压在cd /data/alluxio/ 目录下 3.tar...
2016-08-25 15:18:00
394
转载 Spark安装部署
一、Spark部署单机 1.创建目录： 1.1 mkdir /data/spark 1.2下载spark-2.0.0-bin-hadoop2.6版本，解压在cd /data/spark/ 目录下 1.3tar -zvxf spark-2.0.0-bin-h...
2016-08-17 11:41:00
63
转载 Scala入门
scala教程 http://twitter.github.io/scala_school/zh_cn/index.html API文档： http://www.scala-lang.org/api/current/#package 一、脚本运行 进入Spark/bin目录下，启动...
2016-08-15 17:09:00
78
转载 SpringMVC注解式处理器
@Controller :用于标识是处理器类 @RequestMapping:请求道处理器功能方法的映射规则 @RequestParam:请求参数到处理器功能处理方法的方法参数上的绑定 @ModelAttributes:请求参数到命令对象的绑定 @SessionAttributes:用...
2016-08-11 17:05:00
122
转载 SpringMVC框架的学习及入门案例编写
maven库：https://mvnrepository.com/search?q=spring 标准的MVC框架 model:提供模型的数据 view:负责进行模型数据的展示，例如页面 controller:...
2016-08-08 14:46:00
128
转载 Maven Web工程搭建
1、选择Maven Project 2、选中create a simple project，并使用默认区间 3、填写group id等信息，packaging 选中war包 4、右键项目，选择属性，选中project Facets，修改Dynamic Web Module 为...
2016-08-08 10:52:00
66
转载 DispacterServlet详解
DispacterServlet是前端控制器设计模式的实现，提供SpringMVC的集中访问点，并负责职责的分派。 DispacterServlet主要职责： 1、文件上传，如果请求类型是multipart,将通过MultipartResolver进行文件上传解析 2、通过Handler...
2016-08-04 11:33:00
637
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人