keepon的博客

centos1.在线安装 sudo wget -qo- https://get.docker.com/ |sh 如果是普通用户，再执行一个赋权限操作 sudo usermod -aG docker 用户名

1、速度快 比mapreduce快100倍。 2.使用方便 一大推封装好的方法。并且Scala 和java可以都是运行在jvm上 3.强通用性 有spark生态圈。 4.强适用性 可以运行在yarn等等任务分配框架上...

http://www.cnblogs.com/qingyunzong/p/8671153.html

1.列出有多少数据库 sqoop list-databases \ –connect jdbc:mysql://192.168.85.3:3306/hadoop \ –username root \ –password Caofeng2012@ 2.简单导入HDFS sqoop import \ –connect jdbc:mysql://192.168.85.3:3306/h...

环境 centos7 Hadoop2.6.5 hive 1.x 一. 从普通文本加载数据到hive仓库1.使用 命令hive 进入hive命令行； 2.创建数据库 create database if not exists hivetest; 3.切换数据库 use hivetest; 4. 创建表 create table if not exists s...

内部表：创建表时，默认创建的就是内部表，删除时会删除元数据（数据库中tabs中的表数据）和数据内容（hdfs dfs -ls /user/hive/warehouse/数据库名.db/表名），都会删除掉，所以内部表多用于临时表和中间表 外部表：创建时需要一个关键字external，删除时，只删除元数据，不删除数据内容，所以多用于数据源。...

1.类型推导 定义时可以省略类型，会根据值来推导出类型scala> var str = “hello”str: String = helloscala> var int = 1int: Int = 1定义时也可明确指定类型：scala> var str2:String = “2”str2: String = 21.2.4 函数编程风格 ...

1.maven配置没有设置default setting ，导致下载依赖包的时候变慢了。以下是设置方式，一劳永逸。 2.scala-maven-plugin作用 The scala-maven-plugin is used for compiling/testing/running/documenting scala code in maven. 常见的组件作用，可以参照https:...