honorWE-优快云博客

原创 Hive知识点总结-03

*微博数据hbase存储设计 1.用例设计应用场景实例，列出每个应用场景下的：人、事、物 1.注册账号：人：用户，事：注册，物：无 2.发微博：人：用户，事：微博发表，物：博文 3.浏览微博：人：用户、关注的用户，事：看微博，物：博文 4.点赞和评论微博：人：用户、其他用户，事：对微博的各种操作，物：博文 5.关注和取关：人：用户、其他用户，事：关注或取消关注，物：无 6.分享：人...

2018-03-14 16:52:34 432

原创 Hive知识点总结-02

*hive-hql 1.数据类型数值型：int DECIMAL、DOUBLE 字符串：string 日期类型：date（毫秒），timestamp（纳秒） 2.数据定义语法：DDL （重要）表的定义表结构的修改数据库对象：table、view、index、trigger（触发器）、procedure存储过程、function、constraint...

2018-03-14 16:50:39 744

原创 Hive知识点总结-01

*启动错误，日志查看1.hdfs日志，hadoop安装目录下的logs目录2.zookeeper日志当没有特殊指定zookeeper的日志输出目录的话，zookeeper的日志是在执行zkServer.sh start指令所在的文件夹里 zookeeper日志的名称是：zookeeper.out3.hbase日志 hbase的日志在hbase安装目录下面有logs目录*zookeeper ...

2018-03-14 16:48:31 395

ZooKeeper 安装配置：三台服务器：192.168.15.5 jokeros1192.168.15.6 jokeros2192.168.15.7 jokeros3在每台服务器的host中添加：192.168.15.5 jokeros1192.168.15.6 jokeros2192.168.15.7 jokeros3随便在某一台上如：192.168.15.5解压zookeeper压缩文件：t...

2018-03-13 09:08:03 483

原创 hbase 常见知识点

hbase 的特点是什么 (1) Hbase一个分布式的基于列式存储的数据库,基于Hadoop的hdfs存储，zookeeper进行管理。(2) Hbase适合存储半结构化或非结构化数据，对于数据结构字段不够确定或者杂乱无章很难按一个概念去抽取的数据。(3) Hbase为null的记录不会被存储.(4)基于的表包含rowkey，时间戳，和列族。新写入数据时，时间戳更新，同时可以查询到以前的版本....

2018-03-09 14:01:46 667

原创 Hadoop和大数据的渊源

Hadoop一、Hadoop 是什么？Hadoop 是 Apache 旗下的一套开源软件平台。Hadoop 可以利用计算机集群，根据用户自定义的业务逻辑对海量数据进行分布式处理。通常我们说的 Hadoop 是指一个更广泛的概念--Hadoop 生态圈。二、Hadoop 生态圈Hadoop 生态圈是指以 Hadoop 为基础发展出来的一系列技术。这些技术都是为了解决大数据处理过程中不断出现的新问题而

2018-01-19 08:43:15 1152

原创 MySql 模糊查询

SQL 模糊查询在进行数据库查询时，有完整查询和模糊查询之分。一般模糊查询语句如下：SELECT 字段 FROM 表 WHERE 某字段 Like 条件其中关于条件，SQL提供了四种匹配模式：1，%：表示任意0个或多个字符。可匹配任意类型和长度的字符，有些情况下若是中文，请使用两个百分号（%%）表示

2018-01-17 14:06:39 36132 1

原创 Spring MVC部分知识点

环境搭建流程：1. 引入依赖： 1. web 项目相关： servlet，jstl，spring-mvc 2. 上传图片：fileUpload 3. 数据库操作：mysql，spring-jdbc，druid 4. 测试相关：junit，spring-test2. 创建 spring-web.xml spring-service.xml spring

2018-01-16 11:22:30 398

原创 CenterOS6.5mini版 hadoop集群搭建

CentOS6.5mini版hadoop集群搭建流程桌面版无须安装 ssh CentOS 7 系列：重启网络服务：systemctl restart network 关闭防火墙：systemctl stop firewalld 禁止防火墙开机启动：systemctl disable firewalld安装虚拟机

2018-01-16 11:16:13 706

honorWE的博客