qq_32812063的博客

内部表/外部表 未被external修饰的是内部表（managed table），被external修饰的为外部表（external table），默认创建内部表； 区别： 内部表数据由Hive自身管理，外部表数据由HDFS管理； 内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己指定，若未指...

任务 1:全国各省（省、自治区、直辖市、特别行政区等省级行政 区）微博注册用户的比例。 说明：“比例”均使用百分数，精确到小数点后 2 位，如：23.45% select province, count(*) from `user` group by province; select count(*) from `user`; 说明：下边语句中的 round(d, n)是将 double ...

准备工作： 1,在 hive 中创建一个数据库 create database htest; use htest; 2,创建 user 表 create table if not exists user ( uid string, province int, gender string, verified boolean ) row format delimited fields terminat...

1、下载Eclipse 2、配置本地Maven到Eclipse中 1）、配置Maven的安装目录到Eclipse上 在这一步中，我们要配置本地Maven到Eclipse中 步骤：window–>preferences—>maven—>Installations—>add 2）、配置Maven的settings.xml到Eclipse上 步骤：window–>pref...

准备 1.JDK1.8以及Eclipse软件 2.Eclpse的Hadoop插件 3.hadoop压缩包一份 4.一份演示案例代码 5.确保集群正常,宿主机可以ping通master主机,并可以连接SSH(测试防火墙是否关闭) 6.复制hadoop集群中的hosts文件到windows的c:/windows/system32/drivers/etc/hosts 正文 打开Hadoop插件.把压缩...

下载链接：http://kafka.apache.org/downloads Kafka简介 一个分布式发布-订阅消息传递系统。 它最初由LinkedIn公司开发，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。 日志收集：一个公司可以用Kafka可以收集各种服务的log，通过kafka以...

对应版本下载地址：http://phoenix.apache.org/download.html 本次下载地址：http://www.apache.org/dyn/closer.lua/phoenix/apache-phoenix-4.14.1-HBase-1.2/bin/apache-phoenix-4.14.1-HBase-1.2-bin.tar.gz Phoenix简介 Phoenix是一个...

本次使用版本：sqoop-1.4.5.bin__hadoop-2.0.4-alpha.tar.gz 历史版本下载链接：http://archive.apache.org/dist/sqoop/1.4.5/ Sqoop简介 1、Sqoop是一款在Hadoop和其它关系型数据库之间传递数据的工具。 2、核心的功能有两个： 导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HI...

修改hadoop配置信息 [hadoop@master ~]cd /home/hadoop/software/hadoop-2.7.3/etc/hadoop/ [hadoop@master ~]vi core-site.xml加入如下配置项 <property> <name>hadoop.proxyuser.hadoop.hosts</name> <val...

1、上传hbase-1.2.4-bin.tar.gz到software目录下 2、解压 [hadoop@master ~]cd/home/hadoop/software[hadoop@mastersoftware]cd /home/hadoop/software [hadoop@master software]cd/home/hadoop/software[hadoop@mastersoftwar...

1、上传zookeeper-3.4.10.tar.gz到software目录下 2、解压zookeeper [hadoop@master ~]$ cd /home/hadoop/software/ [hadoop@master software]$ tar -zxvf zookeeper-3.4.10.tar.gz 3、添加一个zoo.cfg文件 [hadoop@master software]$...

一、基础环境搭建 #以下操作都在root用户下 1、修改主机名（三台） 两种修改主机方式 1、修改主机名为master 方式一： [root@localhost~]# hostnamectl set-hostname master 方式二：永久修改主机名 [root@localhost~]# vi /etc/sysconfig/network 2、下载相关工具(方便使用ifconfig/netst...

创建表： hbase(main):001:0>create 'member','member_id','address','info' 插入数据： put 'member','xueba','info:age','25' put 'member','xueba','info:birthday','1989-06-19' put 'member','xueba','info:company'...

打开终端，进入superset环境，使用conda 安装pymysql source activate superset (superset) [****@ master ~]$ conda install pymysql 添加新的数据库连接 点击右上角“+”，添加新的数据库连接 点击最下方的“保存”即可。 查看列表中已添加的数据库： 点击工具栏最右边的“SQL工具箱”,出...

hadoop fs,hadoop dfs以及hdfs dfs区别： The FileSystem (FS) shell is invoked by bin/hadoop fs. All the FS shell commands take path URIs as arguments. The URI format is scheme://autority/path. For HDFS the s...

安装Anaconda （https://www.anaconda.com/download/#linux） 下载文件 运行文件 接受协议，设定目录 添加环境变量 查看安装版本： 配置相关包的下载源 创建一个名为“superset”的python3.6的虚拟环境 进入虚拟环境，此时我们就进入了一个与本机环境隔离的python环境中 source activate superset ...

1.【单选题】知识点：运行体验JDK自带的DEMO程序 题目： 为销售报表展示开发一个MapReduce作业，Mapper输入数据的Key是年份（IntWritable），Value表示商品标识（Text）。下列哪一项决定该Mapper的数据类型？ A. JobConf.setMapInputKeyClass与JobConf.setMapInputValuesClass B. HADOOP_MAP...