
大数据
大数据基础知识、基石论文、框架原理、环境搭建、实战
Aventador_S
这个作者很懒,什么都没留下…
展开
-
3-1 分布式文件系统
1 单机式文件系统文件系统定义:一种存储和组织计算机数据的方法,利用抽象的文件和目录代替了电脑硬盘或者光盘使用数据块的概念原理:文件系统将硬盘空间以块为单位进行划分,每个文件都占据若干块,然后通过一个文件控制块(File Control Block)记录每个文件占据的硬盘数据块2 分布式文件系统3 常见的分布式文件系统4 GFS 谷歌分布式文件系统...原创 2020-11-02 10:26:34 · 274 阅读 · 0 评论 -
2-2 Scala项目构建工具sbt和IntelliJ IDEA环境配置
1 Scala 安装1.1 Windows(1)安装java进入网址https://www.oracle.com/java/technologies/javase-jdk15-downloads.html,下载文件jdk-15.0.1_windows-x64_bin.exe运行下载好的文件,选择安装路径,以E:\Program Files\Java\jdk-15.0.1\ 为例(2)配置环境变量(Windows特有)计算机 -- 右键 -- 属性 -- 高级系统设置...原创 2020-10-28 10:15:31 · 380 阅读 · 0 评论 -
2-1 Scala 快速入门
1 Scala 简介1.1 Hello Worldobject HelloWorld{ def main(args:Array[String]):Unit={ println("Hello World") }}1.2 语言特性面向对象语言 函数式编程 静态类型 扩展性和并发性1.3 运行环境Window Linux Unix Mac OSScala基于Java之上,大量使用Java的类库和变量,使用Scala之前必须先安装Java(.原创 2020-10-27 15:42:35 · 145 阅读 · 0 评论 -
1-3 常见的分布式系统
1 分布式存储系统1.1 中间控制节点架构定义:单独元数据服务器为中间控制,具体数据存储服务器为分布式的架构代表:Hadoop Distributed File System(HDFS)元数据:描述数据的数据(包含具体数据的路径,以及相关信息)架构图:特点:1.用户进行数据读写时,先访问存储元数据服务器节点,得到真正数据的存储信息后,去真正存储数据的节点进行读写 2.存储元数据节点通常为单一的服务器节点,但是因为访问元数据服务器节点的频率和访问量都相对...原创 2020-10-27 11:17:10 · 697 阅读 · 0 评论 -
1-2 分布式架构
1-1 单机架构原创 2020-10-26 16:00:38 · 140 阅读 · 0 评论 -
1-1 大数据介绍
1-1 大数据介绍1 大数据概览 1.1 定义 Volume – 数据规模,KB-MB-GB-TB-PB等,需要可扩展的大存储 Variety – 数据多样性,(非、半)结构性数据 Velocity – 数据流转速度,数据被处理的频率及重要性,能对数据进行快速生成、收集和处理,且必须具有时效性 Value – 数据价值,通过分析学和大数据挖掘发现数据潜在价值 &nb原创 2020-10-26 11:16:31 · 418 阅读 · 0 评论