in your dream-优快云博客

原创 hbase的特点

1）海量存储Hbase适合存储PB级别的海量数据，在PB级别的数据以及采用廉价PC存储的情况下，能在几十到百毫秒内返回数据。这与Hbase的极易扩展性息息相关。正式因为Hbase良好的扩展性，才为海量数据的存储提供了便利。列式存储这里的列式存储其实说的是列族存储，Hbase是根据列族来存储数据的。列族下面可以有非常多的列，列族在创建表的时候就必须指定。3）极易扩展Hbase的扩展性主要体现在两个方面，一个是基于上层处理能力（RegionServer）的扩展，一个是基于存储的扩展（HDF..

2022-04-09 10:00:00 851

原创 hive中的排序

全局排序使用 ORDER BY 语句全局排序 ASC（ascend）: 升序（默认） DESC（descend）: 降序可以指定多个排序字段select * from emp order by deptno , job , sal desc可以按照查询别名进行排序 select ename, sal*2 twosal from emp order by twosal;区内排序Sort By：每个Reducer内部进行排序，对全局结果集来说不是排序。1．

2022-04-08 10:00:00 1533

原创 scala构造器

构造器的定义每个类都有一个主构造器，这个构造器和类定义"交织"在一起类名后面的内容就是主构造器，如果参数列表为空的话，()可以省略scala的类有且仅有一个主构造器，要想提供更加丰富的构造器，就需要使用辅助构造器,辅助构造器是可选的，它们叫做this注意：主构造器会执行类定义中的所有语句例子一class User { // 类默认有一个无参的主构造函数}val user = new User例子二class User2(val name: String, age: Int) {

2022-04-07 10:00:00 1335

原创 scala隐式详解

使用implicit 修饰的内容是隐式内容, 隐式的特点就是遇到适应的类型会自动的应用意义:使得静态类型动态化为现有类库添加功能隐式的代理增强一个类或者一个方法分类:隐式参数隐式函数隐式类隐式变量定义隐式变量 object MyValue { implicit val age:Int = 19 implicit val name:String = "lisi"}定义隐式变量 /** * 这个方法的所有的参数是隐式参数 .

2022-04-06 10:00:00 537

原创数据库概述

1.说说你了解的常见的数据库Oracle. MySQl . SQl Server .Db2. PGSQL; REDis .MongoDb.ES.....2谈谈你对MySQL历史特点的理解历史由瑞典的Mysql ab公司创立, 1995开发出的MySQ:2008年 MYSQL被SUN公司收购2009年 Oracle收购SUM公司进而Oracle就获取了Mysql2016年MySQL80.0.版本退出特点开源的关系型的数据库支持千万级别的数据量的存储, 大型的数据库3说说你对DB,D

2022-04-05 09:00:00 126

原创 scala中的数组

不可变数组数组的基本操作 , scala中的数组和java中的不太一样 ,这里的数组类似于一个数组对象 .有自己的方法!!数组的定义def main(args: Array[String]): Unit = { // 定义一个通用数组没有执行数据类型 , 可以存储任意类型 val arr1 = Array("JIM", 12, 12.22, true) // 指定泛型约束数组中的数据类型只能写泛型的子类 val arr2 = Array[Any]("JIM", 12,

2022-04-04 09:00:00 1889

原创 hive的抽样查询

数据类型描述语法示例 STRUCT(结构体)对象和c语言中的struct类似，都可以通过“点”符号访问元素内容。例如，如果某个列的数据类型是STRUCT{first STRING, last STRING},那么第1个元素可以通过字段.first来引用。 struct() MAP 映射 MAP是一组键-值对元组集合，使用数组表示法可以访问数据。例如，如果某个列的数据类型是MAP，其中键->值对是’first’->’John’和’last’->’D

2022-04-03 09:15:00 612

原创 hive的inseet导出

将a表的数据导出到b表中insert into b select * from a; 将表数据导出到文件夹中 -- 将查询的结果保存在文件夹中insert overwrite local directory '/data/output'select * from tb_orders;导出的数据默认使用隐藏分隔符 , 可以自己指定数据属性的分隔符insert overwrite local directory '/data/output2'row format delimit

2022-04-02 09:00:00 337

原创 linux基础命令

cd切换文件夹pwd显示当前目录ls 查看目录下文件ls -a 显示所有文件包括隐藏文件ls -l 显示详细信息mkdir创建文件夹touch创建文件mv移动文件cp复制文件目录rm删除echo输出cat显示文件内容ln连接more显示文件内容less显示文件内容head查看文件前几行tail查看文件后几行find查找grep关键字查找gzip压缩alians别名tar 压缩解压命令路径：/bin/tar 执行权限：所

2022-04-01 09:00:00 128

原创当你在运行sparksql中可能会遇上的一个小问题

Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=98085, access=WRITE, inode="/user/hive/warehouse/dws.db/mall_app_pv_wide":root:supergroup:drwxr-xr-x当运行spark sql时遇上以上代码的意思是这个文件夹你没有权利访问这时我们要去linux里给文

2022-03-31 09:00:00 219

m0_63117386的博客