- 博客(13)
- 收藏
- 关注
RSS订阅原创 Spark核心类介绍
Spark核心类介绍SparkContent SparkContext是Spark的入口,负责连接Spark集群，创建RDD，累积量和广播量等。 其中有两个关键调度器会在SparkContext实例化时启动:dagScheduler: DAGSchedulertaskScheduler: TaskSchedulerDAGScheduler DAGScheduler主要属性:eventPr
2015-12-07 17:24:05
765
原创 Spark 学习笔记二开发环境
一、在这里本码奴强烈推荐一款IDE intellij Idea 官网地址 http://www.jetbrains.com/idea/ 只能用一句话来概括~ 您值得拥有二、 正题1、插件安装下载安装 scala 然后重启 Intellij Idea2、新建一个 scala 项目File -> New Project 可以找到如下图菜单
2015-04-30 14:30:17
446
原创 Spark学习笔记一 环境搭建
一、环境介绍我在这里用的是三台虚拟机master 192.168.1.100slave1 192.168.1.101slave2 192.168.1.102二、程序下载这里已经把程序传到网盘上这，方便大家下载1、hadoop-2.5.22、scala-2.11.63、spark-1.3.1-bin-hadoop2.4三、开始安装1、安装hadoop，安装
2015-04-23 20:44:03
1612
原创 利用Wget 直接将数据Put到HDFS 上
如题：wget http://117.79.226.247:8888/impala/download/1565/xls -O - | hadoop fs -put - /tmp/wget_to_hdfs-O 重命名-O 后面的 - 为重定向到标准输出，（这里就是控制台） -put 后面的 - 标准输入（对应前面的标准输出）这样 就可以是数据不落地直接PUT 到
2015-02-11 18:18:53
2080
原创 Hive Impala Count 效率比对
Hive 主要是跑批处理的，Impala主要是做准实时的内存查询，我拿他俩做比较～～感觉我好没意思阿～～一、count 比较十万数量级Imapal[cdh-node2:21000] > select count(1) from userinfo;Query: select count(1) from userinfo+----------+| count(1) |+----
2015-01-31 18:09:56
1542
原创 Hive SQL 使用笔记
一、建表语句 1、普通建表，指定分隔符 create table user( name string, ips string COMMENT 'IP Address of the User') COMMENT 'This is the user view table' ROW FORMAT DELIMITED FIELDS TERMINATED
2015-01-30 21:02:17
625
原创 Hive 执行sql 报 2015-01-22 17:07:59,263 WARN conf.HiveConf (HiveConf.java:initialize(1507)) - DEPRECAT
在执行Hive的时候报2015-01-22 17:07:59,263 WARN conf.HiveConf (HiveConf.java:initialize(1507)) - DEPRECATED: Configuration property hive.metastore.local no longer has any effect. Make sure to provide a val
2015-01-30 20:55:00
541
原创 Cloudera Manager 使用笔记---远程访问不了Hue的管理页面
安装好Hue 后 发现 远程访问不了Hue的管理页面，而内网可以，一番周折，发现需要勾选 将 Hue 服务器绑定到通配符地址
2015-01-30 20:51:42
4620
原创 Hive 研发笔记---LEFT JOIN 中的坑
因为日志急速增长，原来放在Mysql上的统计 越来越吃力，所以公司决定把统计业务迁移到Hadoop上。在比对数据的时候，发现了Hive中的一个坑select a.* from default.t_softuser aleft join t_softuser b ona.hid=b.hid and a.corp=b.corp and a.softid=b.softid and a.s
2015-01-29 17:19:56
2483
原创 java 获取 类的绝对路径
package com.venus.helper;import java.io.File;import java.io.UnsupportedEncodingException;import java.net.URL;/** * Copyright: 版权所有 ( c ) 北京启明星辰信息安全技术有限公司 2013。保留所有权利 * 作者: 郭宁 * 创建时间: 14-8-31
2014-08-31 20:50:27
545
原创 IP 验证，IP转Long，Long转IP
import java.util.regex.Matcher;import java.util.regex.Pattern;/** * Copyright: 版权所有 ( c ) 北京启明星辰信息安全技术有限公司 2013。保留所有权利 * 作者: 郭宁 * 创建时间: 14-8-1 下午上午10:32 * 文件描述: * 修改描述: */public class IpHelp
2014-08-27 16:47:34
607
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人