大数据
关注
分享
扫一扫
文章平均质量分 92
守望者2
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
大数据学习笔记一
1.1 大数据时代 信息发展的经历 大数据发展历程 1.2 大数据概念 大数据具有以下几个特点： 1 数据量大，随着通信设备的出现，各种信息随时随地产生，社交软件的大量信息以及监控等设备的出现促使大数据的出现。 2 数据类型多，伴随着互联网与物联网技术的不断发展，各种数据都可以在网络中传播，数据类型嫉妒繁杂 3 处理速度快，即使数据量大，如果处理速度慢，数据也将无法发挥其真正的价值，只有在快速...原创 2019-06-27 19:22:59 · 491 阅读 · 0 评论 -
大数据学习笔记二：解析大数据使用的技术
大数据设计技术主要有Hadoop，HDFS，HBase，MapReduce等，今天进行相关总结 大数据的应用主要是对数据进行存储和处理，但是对于一般的设备而言，想要存储和处理大量数据难度较大（TB以上级别），因此需要使用一些技术处理大数据问题。 主要应用的技术如下图展示： 此图也是展示的Hadoop生态圈，即以Hadoop为核心扩展的技术，接下来将分开介绍： Hadoop Hadoop是一个能...原创 2019-06-27 20:02:22 · 465 阅读 · 0 评论 -
大数据学习笔记三（Hadoop总结）
Hadoop简介： Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构 Hadoop是基于Java语言开发的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群中 Hadoop的核心是分布式文件系统HDFS（Hadoop Distributed File System）和MapReduce Hadoop被公认为行业大数据标准开源软件，在...原创 2019-06-27 20:44:17 · 806 阅读 · 0 评论 -
大数据学习笔记四（HDFS）
1 分布式文件系统 2 HDFS简介 3 HDFS相关概念 4 HDFS体系结构 5 HDFS存储原理 6 HDFS数据读写过程 7 HDFS编程实践原创 2019-06-27 21:14:56 · 414 阅读 · 0 评论 -
大数据学习笔记五（HBase）
HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，是谷歌BigTable的开源实现，主要用来存储非结构化和半结构化的松散数据。HBase的目标是处理非常庞大的表，可以通过水平扩展的方式，利用廉价计算机集群处理由超过10亿行数据和数百万列元素组成的数据表 推荐学习网站：http://dblab.xmu.edu.cn/blog/tag/hbase/ HBase出现的原因： Hado...原创 2019-06-27 22:11:57 · 854 阅读 · 0 评论 -
大数据学习笔记六（MapReduce）
Hadoop的两大核心是HDFS和MapReduce，HDFS是分布式文件系统，而MappReduce的工作是进行数据处理 推荐MapReduce学习链接：http://dblab.xmu.edu.cn/post/bigdata-online-course/#lesson7 MapReduce两大核心函数：Map和Reduce MapReduce将复杂的、运行于大规模集群上的并行计算过程高度地...原创 2019-06-27 22:32:55 · 616 阅读 · 0 评论 -
大数据学习笔记七（云数据库）
在了解云数据库之前，先明确一下云计算的概念： 通过整合、管理、调配分布在网络各处的计算资源，通过互联网以统一界面，同时向大量的用户提供服务 云数据库的概念： 云数据库是部署和虚拟化在云计算环境中的数据库。云数据库是在云计算的大背景下发展起来的一种新兴的共享基础架构的方法，它极大地增强了数据库的存储能力，消除了人员、硬件、软件的重复配置，让软、硬件升级变得更加容易。云数据库具有高可扩展性、高可用...原创 2019-06-28 22:16:49 · 722 阅读 · 0 评论 -
大数据学习笔记八（数据可视化）
数据可视化即为将数据进行分析后用图形的方式直观展示出信息的统计情况，这对于大数据的处理结果展示有非常重要的作用，具体事例如下： 百度地图交通情况 人物关系 数据可视化常用工具 Office系列 Excel是微软公司的办公软件Office家族的系列软件之一，可以进行各种数据的处理、统计分析和辅助决策操作，已经广泛地应用于管理、统计、金融等领域，这也是最常见的数据可视化的工具 D3 D3是最流行...原创 2019-06-30 11:43:49 · 1031 阅读 · 0 评论