java大数据生态圈
文章平均质量分 80
java大数据生态圈
ansap
专注于企业应用软件开发,经验丰富,能够独立完成项目开发!
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
zookeeper框架基础入门
Zookeeper的特点: 1.Zookeeper: 一个领导者(Leader), 多个跟随者(Follower) 组成的集群 2.集群中只要有半数以上的节点存活,Zookeeper集群就能正常服务。 3.全局数据一致:每个Server保存一份相同的数据副本,Client无论连接到哪个server数据都是一致的。 4.更新请求顺序进行,来自同一个client的更新请求按期发送顺序依次执行 5.数据...原创 2020-04-07 22:50:16 · 501 阅读 · 0 评论 -
Hadoop生态之HDFS安装配置(二)
HDFS:分布式文件存储系统,是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。 HDFS是Hadoop中的三大重要组件之一,...原创 2019-05-23 12:01:53 · 326 阅读 · 0 评论 -
Hadoop生态之Hadoop体系架构(一)
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 Hadoop是一个开源框架,可编写和运行分布式应用处理大规模数据。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算。 Hadoop起源于谷歌的三篇论文(GFS、MapReduce、BigTable)。 名字起源:Hadoop这个名字...原创 2019-05-23 11:33:56 · 7146 阅读 · 1 评论 -
Linux基础之CentOS的Shell编程(三)
一、概述: Shell 是一个用 C 语言编写的程序,它是用户使用 Linux 的桥梁。Shell 既是一种命令语言,又是一种程序设计语言。Shell 是指一种应用程序,这个应用程序提供了一个界面,用户通过这个界面访问操作系统内核的服务。Ken Thompson 的 sh 是第一种 Unix Shell,Windows Explorer 是一个典型的图形界面 Shell。 Shell 编程跟 ...原创 2019-05-22 11:12:49 · 504 阅读 · 0 评论 -
Linux基础之CentOS常用命令(二)
一、文件目录命令 常用命令: 1. man 获取帮助信息命令:man 命令名 例:man ls 2.常用快捷键 1)ctrl + c:停止进程 2)ctrl+l:清屏 3)ctrl + q:退出 4)善于用tab键 5)上下键:查找执行过的命令 6)ctrl +alt:linux和Windows之间切换 3. pwd 查看当前目录路径 4....原创 2019-05-22 10:41:36 · 296 阅读 · 0 评论 -
Linux基础之CentOS安装配置(一)
一、概述 Linux内核最初是由芬兰人林纳斯.托瓦兹(Linus Torvalds) 在赫尔辛基大学期间出于个人爱好而编写的。 Linux是一套免费使用和自由传播的类似于Unix操作系统,是一个基于POSIX和UNIX的多用户,多任务,支持多线程和多CPU的操作系统。Linux能运行主要的Unix工具软件,应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计...原创 2019-05-22 09:31:02 · 397 阅读 · 0 评论 -
Linux基础之centos安装JDK与tomcat(四)
JDK安装步骤: 1.下载JDK安装包到指定的目录下: /usr/local/src/java jdk-8u201-linux-x64.tar.gz 2.把安装包复制到 /usr/java目录下: 修改压缩包的权限:chmod 777 jdk-8u201-linux-x64.tar.gz 复制压缩包到: /usr/java目录下: cp jdk-8u2...原创 2019-05-20 17:01:03 · 159 阅读 · 0 评论 -
Hadoop技术生态之Hive数据仓库一(八)
Hive简介: Hive是基于Hadoop的一个数据仓库管理工具,可以将结构化的数据文件映射为数据库表,提供sql查询统计功能(Hive 定义了简单的类 SQL 查询语言,称为 HQL),其底层实现是:将SQL语句转换为MapRecuce程序任务执行对应的查询功能(Yarn集群启动)。 为什么要使用hive? 用户只需要在Hive中建立表和结构化数据之...原创 2019-05-20 16:16:37 · 2596 阅读 · 0 评论 -
Linux基础之CentOs安装mysql数据库(五)
第一种安装方式(离线安装): 1.先将mysql客户端和mysql服务器rpm软件上传到centos服务器 MySQL-client-5.6.25-1.linux_glibc2.5.x86_64.rpm MySQL-server-5.6.25-1.linux_glibc2.5.x86_64.rpm 2.检查现在的centos系统中是否已经安装过mysql程序 命令:r...原创 2019-05-20 16:00:52 · 329 阅读 · 0 评论 -
ElasticSearch安装与配置一
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。 下面我们来看样它的安装步骤: 第一、从官网下载lin...原创 2019-05-16 13:58:09 · 802 阅读 · 0 评论
分享