xsfqh的专栏

HIVE的启动及基本命令Hive基本操作（1）启动hive[atguigu@hadoop102 hive]$ bin/hive（2）查看数据库hive> show databases;（3）打开默认数据库hive> use default;（4）显示default数据库中的表hive> show tables;（5）创建一张表hive> create table student(id int, name string);（6）显示数据库

数据仓库ODS、DW和DM概念理解最近在做数据治理项目，里面有些专业名词，如ODS、DW、DM，现特意将其梳理出来，便于掌握ODS——操作性数据DW——数据仓库DM——数据集市1.数据中心整体架构数据中心整体架构数据仓库的整理架构，各个系统的元数据通过ETL同步到操作性数据仓库ODS中，对ODS数据进行面向主题域建模形成DW（数据仓库），DM是针对某一个业务领域建立模型，具体用户（决策层）查看DM生成的报表。2.数据仓库的ODS、DW和DM概念o...

1、使用xshell登录至hive服务器内，输入hive进入hive数据库，如图所示：2、查看hive中的所有数据库：show databases;3、用default数据库：use default;4、查看所有的表：show tables;5、查询表结构：desc mytest（表名）;6、查询表数据： select * from mytest（表名）；7、创建数据库：hive> CREATE SCHEMA userdb;8、验证数据库表：hive> ...

概述Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行。说白了就是，很有必要去理解一般ETL工具必备的特性和功能，这样才更好的掌握Kettle的使用。今天主要先描述ETL工具的通用功能。ETL工具的功能之一：连接任何ETL工具都应该有能力连接到类型广泛的数据源和数据格式。对于最常用的关系型数据库系统，还要提供本地的连接方式（如对于Oracle的OCI），ETL应该能提供下面最基本的功能：（1）连接到普通关系型数据库并..

大数据组件图谱文件系统 数据存储 内存技术 数据搜集 消息系统 数据处理 查询引擎 分析和报告工具 调度与管理服务 机器学习 开发平台文件系统HDFSHadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。GlusterFS是一个集群的文件系统，支持PB...

大数据平台是对海量结构化、非结构化、半机构化数据进行采集、存储、计算、统计、分析处理的一系列技术平台。大数据平台处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据仓库工具无法处理完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的各类技术。本文整理出了大数据平台常见的一些开源工具，并且依据其主要功能进行分类，以便大数据学习者及应用者快速查找和参考。▲ 大数据平台常见的一些工具汇集主要包含：语言工具类、数据采集工具、ETL工具、数