<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[eric_lee的专栏]]></title><description><![CDATA[大数据时代来临]]></description><link>https://blog.youkuaiyun.com/u010708577</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; u010708577]]></copyright><item><title><![CDATA[获取时间区间的每天日期]]></title><link>https://blog.youkuaiyun.com/u010708577/article/details/83419049</link><guid>https://blog.youkuaiyun.com/u010708577/article/details/83419049</guid><author>u010708577</author><pubDate>Fri, 26 Oct 2018 18:17:03 +0800</pubDate><description><![CDATA[#!/bin/bash
date1=&quot;$1&quot;
date2=&quot;$2&quot;

echo &quot;date1: $date1&quot;
echo &quot;date2: $date2&quot;

tempdate=`date -d &quot;-0 day $date1&quot; +%Y%m%d`
enddate=`date -d &quot;-0 day $date2&quot; +%F`
tempdateSec=`date -d &quot;-0 day $da]]></description><category></category></item><item><title><![CDATA[druid的查询接口]]></title><link>https://blog.youkuaiyun.com/u010708577/article/details/80068760</link><guid>https://blog.youkuaiyun.com/u010708577/article/details/80068760</guid><author>u010708577</author><pubDate>Tue, 24 Apr 2018 18:43:23 +0800</pubDate><description><![CDATA[核心 druid 查询接口的使用druid的查询接口是HTTP REST 风格的查询方式，使用HTTP REST 风格查询(Broker,Historical,或者Realtime)节点的数据,查询参数为JSON格式，每个节点类型都会暴露相同的REST查询接口curl -X POST '&amp;lt;queryable_host&amp;gt;:&amp;lt;port&amp;gt;/druid/v2/?pretty' -H...]]></description><category></category></item><item><title><![CDATA[maven本地安装jar]]></title><link>https://blog.youkuaiyun.com/u010708577/article/details/79986846</link><guid>https://blog.youkuaiyun.com/u010708577/article/details/79986846</guid><author>u010708577</author><pubDate>Wed, 18 Apr 2018 11:48:40 +0800</pubDate><description><![CDATA[ 输入mvn命令   3.1 输入mvn install:install-file -Dfile=C:\Users\sinosoft\Desktop\lib\spring-cloud-sleuth-zipkin-1.2.0.RC1.jar -DgroupId=org.springframework.cloud -DartifactId=spring-cloud-sleuth-zipkin -Dve...]]></description><category></category></item><item><title><![CDATA[Druid单机的安装和测试]]></title><link>https://blog.youkuaiyun.com/u010708577/article/details/79979516</link><guid>https://blog.youkuaiyun.com/u010708577/article/details/79979516</guid><author>u010708577</author><pubDate>Tue, 17 Apr 2018 19:37:07 +0800</pubDate><description><![CDATA[1、环境信息 2、安装zookeeper 3、安装druid 4、启动druid 5、验证druid 6、遇到的吭1、环境信息 Centos6.5 32GB 8C Zookeeper 3.4.5 Druid 0.9.22、安装zookeepertar -xzf zookeeper-3.4.6.tar.gz
cd zookeeper-3.4.6
cp conf/zoo_sample.cfg conf...]]></description><category></category></item><item><title><![CDATA[apache hadoop2.7 安装]]></title><link>https://blog.youkuaiyun.com/u010708577/article/details/79545352</link><guid>https://blog.youkuaiyun.com/u010708577/article/details/79545352</guid><author>u010708577</author><pubDate>Tue, 13 Mar 2018 19:39:46 +0800</pubDate><description><![CDATA[总体思路，准备主从服务器，配置主服务器可以无密码SSH登录从服务器，解压安装JDK，解压安装Hadoop，配置hdfs、mapreduce等主从关系。1、环境，3台CentOS7，64位，Hadoop2.7需要64位Linux，CentOS7 Minimal的ISO文件只有600M，操作系统十几分钟就可以安装完成，Master 192.168.0.182 Slave1 192.168.0.183 ...]]></description><category></category></item><item><title><![CDATA[Kafka-manager部署]]></title><link>https://blog.youkuaiyun.com/u010708577/article/details/79414371</link><guid>https://blog.youkuaiyun.com/u010708577/article/details/79414371</guid><author>u010708577</author><pubDate>Thu, 01 Mar 2018 16:32:10 +0800</pubDate><description><![CDATA[一、概念    概念百度了一下，可以根据相关资料进行理解。1.1 Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。BrokerKafka集群包含一个或多个服务器，这种服务器被称为broker。 Topic每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个...]]></description><category></category></item><item><title><![CDATA[集合元素操作]]></title><link>https://blog.youkuaiyun.com/u010708577/article/details/79307999</link><guid>https://blog.youkuaiyun.com/u010708577/article/details/79307999</guid><author>u010708577</author><pubDate>Sun, 11 Feb 2018 07:51:05 +0800</pubDate><description><![CDATA[集合元素操作col :+ ele			将元素添加到集合尾部		Seqele +: col			将元素添加到集合头部		Seqcol + ele			在集合尾部添加元素			Set、Mapcol + (ele1, ele2)	将其他集合添加到集合的尾部	Set、Mapcol - ele			将元素从集合中删除			Set、Map、ArrayBuffercol - (ele1, ele2)	将子集合从...]]></description><category></category></item><item><title><![CDATA[启动YARN时，ResourceManager 和 NodeManager报错 Error found before invoking supervisord dictionary update s]]></title><link>https://blog.youkuaiyun.com/u010708577/article/details/79291424</link><guid>https://blog.youkuaiyun.com/u010708577/article/details/79291424</guid><author>u010708577</author><pubDate>Thu, 08 Feb 2018 16:46:52 +0800</pubDate><description><![CDATA[在通过CM启动Yarn服务时候，不同的版本可能都会遇到同样的一个问题，如下图所示： Error found before invoking supervisord: dictionary update sequence element #89 has length 1; 2 is required之前在cm5.5、cm5.7以及现在的cm5.11都出现过这样的问题。在cm5.5中，修改文件 /op...]]></description><category></category></item><item><title><![CDATA[python脚本用sqoop把mysql数据导入hive数据仓库中]]></title><link>https://blog.youkuaiyun.com/u010708577/article/details/79281874</link><guid>https://blog.youkuaiyun.com/u010708577/article/details/79281874</guid><author>u010708577</author><pubDate>Wed, 07 Feb 2018 16:50:55 +0800</pubDate><description><![CDATA[#! /usr/bin/env python  
# coding:utf-8  
# --------------------------------  
# Created by coco  on 16/2/23  
# ---------------------------------  
# Comment: 主要功能说明 :初始化业务数据库  
  
import os  ]]></description><category></category></item><item><title><![CDATA[sqoop mysql数据导入Hive中]]></title><link>https://blog.youkuaiyun.com/u010708577/article/details/79280680</link><guid>https://blog.youkuaiyun.com/u010708577/article/details/79280680</guid><author>u010708577</author><pubDate>Wed, 07 Feb 2018 15:31:36 +0800</pubDate><description><![CDATA[//sqoop导入数据测试




## by coco

## 2014-11-21




1. 下载sqoop，本测试安装的hadoop-2.2.0。所以下载的sqoop为：

sqoop-1.4.5.bin__hadoop-2.0.4-alpha.tar.gz

下载地址为：

http://mirrors.cnnic.cn/apache/sqoop/1]]></description><category></category></item><item><title><![CDATA[Hadoop_FileInputFormat分片]]></title><link>https://blog.youkuaiyun.com/u010708577/article/details/79238564</link><guid>https://blog.youkuaiyun.com/u010708577/article/details/79238564</guid><author>u010708577</author><pubDate>Fri, 02 Feb 2018 14:15:07 +0800</pubDate><description><![CDATA[Hadoop_FileInputFormat分片





Hadoop学习笔记总结

01. InputFormat和OutFormat

1. 整个MapReduce组件



InputFormat类和OutFormat类都是抽象类。
可以实现文件系统的读写，数据库的读写，服务器端的读写。
这样的设计，具有高内聚、低耦合的特点。

2. 提交任务时，获取s]]></description><category></category></item><item><title><![CDATA[hive udf]]></title><link>https://blog.youkuaiyun.com/u010708577/article/details/79226111</link><guid>https://blog.youkuaiyun.com/u010708577/article/details/79226111</guid><author>u010708577</author><pubDate>Thu, 01 Feb 2018 11:35:53 +0800</pubDate><description><![CDATA[set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict; set hive.exec.max.dynamic.partitions.pernode=1000;






创建真实表：

create external table bi_rg.fact_call_lo]]></description><category></category></item><item><title><![CDATA[搭建Spark源码研读和代码调试的开发环境]]></title><link>https://blog.youkuaiyun.com/u010708577/article/details/79203656</link><guid>https://blog.youkuaiyun.com/u010708577/article/details/79203656</guid><author>u010708577</author><pubDate>Tue, 30 Jan 2018 11:15:19 +0800</pubDate><description><![CDATA[Table of Contents

源码获取与编译

从Github上获取Spark源码编译Spark项目
源码导入与代码运行

导入源码到Intellij IDEA 16运行实例代码

1. 配置运行参数2. 添加缺失的flume sink源代码3. 添加运行依赖的jars4. 成功运行实例代码

单步调试源代码

工欲善其事，必先利其器，第一篇笔记介绍如何搭建源码研]]></description><category></category></item><item><title><![CDATA[Hive命令行常用操作（数据库操作，表操作）]]></title><link>https://blog.youkuaiyun.com/u010708577/article/details/79158358</link><guid>https://blog.youkuaiyun.com/u010708577/article/details/79158358</guid><author>u010708577</author><pubDate>Thu, 25 Jan 2018 10:14:43 +0800</pubDate><description><![CDATA[数据库操作

查看所有的数据库


hive> show databases ;


使用数据库default


hive> use default;


查看数据库信息


hive > describe database default; 
OK 
db_name comment location owner_name owner_type parame]]></description><category></category></item><item><title><![CDATA[kylin建模指南]]></title><link>https://blog.youkuaiyun.com/u010708577/article/details/79154260</link><guid>https://blog.youkuaiyun.com/u010708577/article/details/79154260</guid><author>u010708577</author><pubDate>Wed, 24 Jan 2018 18:44:16 +0800</pubDate><description><![CDATA[Apache Kylin的主要特点包括支持SQL接口、支持超大数据集、秒级
响应、可伸缩性、高吞吐率、BI工具集成等。


Apache Kylin的特色在于，在上述的底层技术之外，另辟蹊径地使用
了独特的Cube预计算技术。预计算事先将数据按维度组合进行了聚合，
将结果保存为物化视图。经过聚合，物化视图的规模就只由维度的基数
来决定，而不再随着数据量的增长呈线性增长。


在]]></description><category></category></item><item><title><![CDATA[kettle小例子]]></title><link>https://blog.youkuaiyun.com/u010708577/article/details/79154008</link><guid>https://blog.youkuaiyun.com/u010708577/article/details/79154008</guid><author>u010708577</author><pubDate>Wed, 24 Jan 2018 18:21:21 +0800</pubDate><description><![CDATA[crontab -l
0  11  *  *  * /home/xxy_hjlj/data-integration/kettle_code/shell/kettle_job.sh
[xxy_hjlj@ipcweb2 shell]$ vi kettle_job.sh 
/home/xxy_hjlj/data-integration/kettle_code/shell/fact_call_cou]]></description><category></category></item><item><title><![CDATA[datax]]></title><link>https://blog.youkuaiyun.com/u010708577/article/details/79153937</link><guid>https://blog.youkuaiyun.com/u010708577/article/details/79153937</guid><author>u010708577</author><pubDate>Wed, 24 Jan 2018 18:08:04 +0800</pubDate><description><![CDATA[python bin/datax.py -p "-Dstarttime='2018-01-15 00:00:00' -Dendtime='2018-01-15 23:59:59' -Ddays='2018-01-15' " ../job/writemysql1.json


{


    "job": {


        "setting": {


        ]]></description><category></category></item><item><title><![CDATA[kylin实战总结]]></title><link>https://blog.youkuaiyun.com/u010708577/article/details/79130059</link><guid>https://blog.youkuaiyun.com/u010708577/article/details/79130059</guid><author>u010708577</author><pubDate>Mon, 22 Jan 2018 16:00:45 +0800</pubDate><description><![CDATA[Apache Kylin****项目实践
目前基于kylin的数据分析平台已经在业务中开始测试以及使用，并且在用户管理和权限操作方面做了的二次开发改造，以实现project和cube的安全管理。

下图是cube的查询响应图表，cube 大小为157GB，包括一个事实表，14个维度和4个度量：










在项目实践过程中也遇到问题：

Hadoop任务内存资源不够，cube计算失败。

]]></description><category></category></item><item><title><![CDATA[Hbase原理、基本概念、基本架构]]></title><link>https://blog.youkuaiyun.com/u010708577/article/details/79117147</link><guid>https://blog.youkuaiyun.com/u010708577/article/details/79117147</guid><author>u010708577</author><pubDate>Sat, 20 Jan 2018 21:59:52 +0800</pubDate><description><![CDATA[概述





HBase是一个构建在HDFS上的分布式列存储系统；
HBase是基于Google BigTable模型开发的，典型的key/value系统；
HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储；
从逻辑上讲，HBase将数据按照表、行和列进行存储。
与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服]]></description><category></category></item><item><title><![CDATA[开源数据可视化工具（For Apache Kylin）使用说明]]></title><link>https://blog.youkuaiyun.com/u010708577/article/details/79098569</link><guid>https://blog.youkuaiyun.com/u010708577/article/details/79098569</guid><author>u010708577</author><pubDate>Thu, 18 Jan 2018 17:15:10 +0800</pubDate><description><![CDATA[http://lxw1234.com/archives/2016/06/691.htmApache Kylin，很好的解决了海量数据OLAP的底层存储与分析引擎，但还缺一个数据可视化工具，可以使用户非常方便的通过图形化分析探索海量数据，而不用写SQL。于是我们发现了Caravel。原生的Caravel并不支持Kylin，也不支持多表关联，经过好友Rocky和我的修改和调试，使得Caravel支持K]]></description><category></category></item></channel></rss>