- 博客(3)
- 收藏
- 关注
原创 数据仓库与数据库
数据仓库和数据库是企业数据管理中两个重要的概念,它们在数据存储、数据结构和数据用途等方 面存在一些数据仓库,是在数据库已经大量存在的情况下,为了进一步挖掘数据资源、为了决策需要而产生的。数据仓库的出现,并不是要取代数据库,主要区别如下:数据库是面向事务的设计,数据仓库是面向主题设计的。数据库一般存储业务数据,数据仓库存储的一般是历史数据。
2024-04-24 23:20:02
695
原创 Hive入门
Hive:由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。HDFS的使用场景:适合一次写入,多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。HDFS集群是标准的master/slave主从架构集群。一般一个HDFS集群是有一个Namenode和一定数目的Datanode组成。
2024-04-23 23:44:30
523
2
原创 初始Hadoop
(1)高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。(3)高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度。框架,它具有无共享、高可用(HA)、弹性可扩展的特点,非常适合处理海量数量。(2)高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点。(4)高容错性:能够自动将失败的任务重新分配。Hadoop 是一个提供分布式存储和计算的。一、 Hadoop 是什么。
2024-04-22 23:15:18
644
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅