<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[java1440657916的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/java1440657916</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; java1440657916]]></copyright><item><title><![CDATA[实战开发：hbase行键设计及降低region热点的出现]]></title><link>https://blog.youkuaiyun.com/java1440657916/article/details/99660517</link><guid>https://blog.youkuaiyun.com/java1440657916/article/details/99660517</guid><author>java1440657916</author><pubDate>Thu, 15 Aug 2019 22:51:09 +0800</pubDate><description><![CDATA[在聊这个问题前，搞明白为什么要设计rowkey？（精心整理的说辞）
Hbase 分布式 列式 内存数据库。有着很高的读写性能。在olap即时分析越来越发挥重要的作用，HBase查询只能通过其Rowkey来查询(Rowkey用来表示唯一一行记录)，Rowkey设计的优劣直接影响读写性能。
先谈几个原则：
1.（为什么）Rowkey的长度原则
Rowkey长度设计原则：Rowkey是一个二进制，Row...]]></description><category></category></item><item><title><![CDATA[集群规模、mysql与hbase区别]]></title><link>https://blog.youkuaiyun.com/java1440657916/article/details/97248860</link><guid>https://blog.youkuaiyun.com/java1440657916/article/details/97248860</guid><author>java1440657916</author><pubDate>Thu, 25 Jul 2019 11:40:26 +0800</pubDate><description><![CDATA[1. hbase与mysql的区别

①定义：a)MySQL：关系型数据库，主要面向OLTP，支持事务，支持二级索引，支持sql，支持主从、Group Replication架构模型（此处以Innodb为例，不涉及别的存储引擎）。b)HBase：基于HDFS，支持海量数据读写（尤其是写），支持上亿行、上百万列的，面向列的分布式NoSql数据库。天然分布式，主从架构，不支持事务，不支持二级索引，不支...]]></description><category></category></item><item><title><![CDATA[sqoop导数据遇到的部分问题]]></title><link>https://blog.youkuaiyun.com/java1440657916/article/details/97248422</link><guid>https://blog.youkuaiyun.com/java1440657916/article/details/97248422</guid><author>java1440657916</author><pubDate>Thu, 25 Jul 2019 11:37:18 +0800</pubDate><description><![CDATA[在导入hive的时候，如果数据库中有blob或者text字段，会报错，解决方案：
clob：在将数据由Oracle数据库导入到Hive时，发现带有clob字段的表的数据会错乱，出现一些字段全为NULL的空行。
由于在项目中CLOB字段没有实际的分析用途，因此考虑将CLOB字段去掉。
同时，为了防止CLOB字段产生一些问题，因此将HIVE中CLOB字段禁用，禁用的方式如下：
[Hadoop@mast...]]></description><category></category></item><item><title><![CDATA[Hadoop工程师面试题：使用linux命令完成文本处理]]></title><link>https://blog.youkuaiyun.com/java1440657916/article/details/97245727</link><guid>https://blog.youkuaiyun.com/java1440657916/article/details/97245727</guid><author>java1440657916</author><pubDate>Thu, 25 Jul 2019 11:09:44 +0800</pubDate><description><![CDATA[某个目录下有两个文件a.txt和b.txt,文件格式为（ip，username）,
列如：
a.txt
127.0.0.1 zhangsan
127.0.0.1 wangxiaoer
127.0.0.2 lisi
127.0.0.3 wangwu
b.txt
127.0.0.4 lixiaolu
127.0.0.1 lisi
每个文件至少100万行，请使用Linux命令完成如下工作：
1）每个文件...]]></description><category></category></item><item><title><![CDATA[Hive  grouping sets  grouping_id  cube rollup]]></title><link>https://blog.youkuaiyun.com/java1440657916/article/details/92842793</link><guid>https://blog.youkuaiyun.com/java1440657916/article/details/92842793</guid><author>java1440657916</author><pubDate>Wed, 19 Jun 2019 19:43:38 +0800</pubDate><description><![CDATA[CREATE EXTERNAL TABLE test_data (
month STRING,
day STRING,
cookieid STRING
) ROW FORMAT DELIMITED
FIELDS TERMINATED BY ‘,’
stored as textfile location ‘/user/jc_rc_ftp/test_data’;
select * from test_...]]></description><category></category></item><item><title><![CDATA[hive  json字符串处理问题   （转载）]]></title><link>https://blog.youkuaiyun.com/java1440657916/article/details/92806768</link><guid>https://blog.youkuaiyun.com/java1440657916/article/details/92806768</guid><author>java1440657916</author><pubDate>Wed, 19 Jun 2019 10:45:59 +0800</pubDate><description><![CDATA[我们都知道，Hive 内部提供了大量的内置函数用于处理各种类型的需求，参见官方文档：Hive Operators and User-Defined Functions (UDFs)。我们从这些内置的 UDF 可以看到两个用于解析 Json 的函数：get_json_object 和 json_tuple。用过这两个函数的同学肯定知道，其职能解析最普通的 Json 字符串，如下：
hive (def...]]></description><category></category></item><item><title><![CDATA[HBase持续学习]]></title><link>https://blog.youkuaiyun.com/java1440657916/article/details/89975547</link><guid>https://blog.youkuaiyun.com/java1440657916/article/details/89975547</guid><author>java1440657916</author><pubDate>Wed, 08 May 2019 21:20:44 +0800</pubDate><description><![CDATA[1.HBase 介绍
特点：
①是Hadoop生态中的数据库。
②分布式的、可伸缩的、列式存储的内存数据库。
③HBase中的表可以达到数十亿行，数百万列。（戏称为：高表）
④HBase基于内存来进行CRUD操作的，速度块、效率高。
⑤HBase内存中的数据最终是落地在HDFS之上的。
⑥HBase表中的列没有类型的，都是字节数组。（没有RDBMS中的：varchar, int,date…）
…
...]]></description><category></category></item><item><title><![CDATA[javaAPI 操作Hbase基础篇]]></title><link>https://blog.youkuaiyun.com/java1440657916/article/details/89974183</link><guid>https://blog.youkuaiyun.com/java1440657916/article/details/89974183</guid><author>java1440657916</author><pubDate>Wed, 08 May 2019 21:00:16 +0800</pubDate><description><![CDATA[实体类 （使用了lombok框架）
lombok框架（插件）
该框架会根据注解，生成对应的getter/setter访问器，以及构造方法
注解名                                 作用
------------------------------------------------------------
@Data                          ...]]></description><category></category></item><item><title><![CDATA[HDFS面试篇2]]></title><link>https://blog.youkuaiyun.com/java1440657916/article/details/89531711</link><guid>https://blog.youkuaiyun.com/java1440657916/article/details/89531711</guid><author>java1440657916</author><pubDate>Fri, 26 Apr 2019 09:49:36 +0800</pubDate><description><![CDATA[hdfs读写过程
（一）写数据流程
1).客户端发出请求 hdfs dfs -put /etc/profile /qf/data
2).namenode查看维护的目录结构，检查/qf/data是否存在，如不存在直接报错”no such file or directory“，
如存在返回给客户端同意上传文件请求，将操作写入日志文件
3).客户端请求上传第一个块，询问namenode块的存储位置
4)...]]></description><category></category></item><item><title><![CDATA[Hdfs面试篇01]]></title><link>https://blog.youkuaiyun.com/java1440657916/article/details/89531446</link><guid>https://blog.youkuaiyun.com/java1440657916/article/details/89531446</guid><author>java1440657916</author><pubDate>Fri, 26 Apr 2019 09:36:56 +0800</pubDate><description><![CDATA[体系结构
（★★）hdfs的优点与缺点
HDFS 具有以下优点：
(1) 高容错性


数据自动保存多个副本。它通过增加副本的形式，提高容错性。
某一个副本丢失以后，它可以自动恢复，这是由 HDFS 内部机制实现的，我们不必关心。
(2) 适合批处理
它是通过移动计算而不是移动数据。
它会把数据位置暴露给计算框架。
(3) 适合大数据处理
数据规模：能够处理数据规模达到 GB、TB、甚至PB级别...]]></description><category></category></item><item><title><![CDATA[Hadoop中job.setNumReduceTasks（0）方法]]></title><link>https://blog.youkuaiyun.com/java1440657916/article/details/89491804</link><guid>https://blog.youkuaiyun.com/java1440657916/article/details/89491804</guid><author>java1440657916</author><pubDate>Wed, 24 Apr 2019 14:16:21 +0800</pubDate><description><![CDATA[job.setNumReduceTasks(0)唯一影响的是map结果的输出方式
  当job.setNumReduceTasks(0)时，即没有reduce阶段，此时唯一影响的就是map结果的输出方式

如果有reduce阶段，map的结果被flush到硬盘，作为reduce的输入；reduce的结果将被OutputFormat的RecordWriter写到指定的地方（setOutputPath...]]></description><category></category></item><item><title><![CDATA[java常用]]></title><link>https://blog.youkuaiyun.com/java1440657916/article/details/82655550</link><guid>https://blog.youkuaiyun.com/java1440657916/article/details/82655550</guid><author>java1440657916</author><pubDate>Wed, 12 Sep 2018 08:22:09 +0800</pubDate><description><![CDATA[一、Java 常用包

java.lang–语言包：Java语言的基础类，包括Object类、Thread类、String、Math、System、Runtime、Class、Exception、Process等，是Java的核心类库

java.util–实用工具包：Scanner、Date、Calendar、LinkedList、Hashtable、Stack、TreeSet等；

java....]]></description><category></category></item><item><title><![CDATA[可视化日历]]></title><link>https://blog.youkuaiyun.com/java1440657916/article/details/82490752</link><guid>https://blog.youkuaiyun.com/java1440657916/article/details/82490752</guid><author>java1440657916</author><pubDate>Fri, 07 Sep 2018 08:36:05 +0800</pubDate><description><![CDATA[1；为了回顾熟悉一下关于Date类的为核心的一下关于时间日期的类，打一个小型的项目练练手，  
这个基本上没有用到面向对象设计的思想，基本上还是用面向过程设计的思维方式，只需一个类，所有任务都是在main方法中完成的，单纯的就是练练手；熟悉一下过程；

2；要达到怎样的效果；如图  
这里写图片描述

3；分析；  
3.1；要从键盘输入，则需要接受；

//先要获取键盘输入流； 
Scanner...]]></description><category></category></item><item><title><![CDATA[Map集合中value（）方法与keySet（）、entrySet()区别]]></title><link>https://blog.youkuaiyun.com/java1440657916/article/details/82490627</link><guid>https://blog.youkuaiyun.com/java1440657916/article/details/82490627</guid><author>java1440657916</author><pubDate>Fri, 07 Sep 2018 07:58:56 +0800</pubDate><description><![CDATA[在Map集合中

values():方法是获取集合中的所有的值—-没有键，没有对应关系，

KeySet(): 
将Map中所有的键存入到set集合中。因为set具备迭代器。所有可以迭代方式取出所有的键，再根据get方法。获取每一个键对应的值。 keySet():迭代后只能通过get()取key 

entrySet()：

Set...]]></description><category></category></item><item><title><![CDATA[时间类]]></title><link>https://blog.youkuaiyun.com/java1440657916/article/details/82490621</link><guid>https://blog.youkuaiyun.com/java1440657916/article/details/82490621</guid><author>java1440657916</author><pubDate>Fri, 07 Sep 2018 07:57:09 +0800</pubDate><description><![CDATA[
概述


Date类是表示特定时间点的对象，精确到毫秒。 
As of JDK 1.1, the Calendar class should be used to convert between dates and time fields and the DateFormat class should be used to format and parse date strings. The c...]]></description><category></category></item></channel></rss>