大数据环境
关注
分享
扫一扫
文章平均质量分 95
Darren.P
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
史上最全从零搭建ELKB(Elasticsearch、Logstash、Kibana、Beat)分布式日志管理可视化平台之一
ELKB(Elasticsearch、Logstash、Kibana、Beat的组合)是一套开源的分布式日志管理方案。凭借其闭环的日志处理流程、高效的检索性能、线性的扩展能力、较低的运维成本等特点，ELKB在最近几年迅速崛起，成为实时日志处理开源领域的首要选择。详细资料可参考官网https://www.elastic.co/cn/start，本文不再赘述。原创 2023-03-03 10:30:24 · 2135 阅读 · 1 评论 -
CentOS7安装Nginx
文章目录使用yum命令安装查看安装命令Nginx的默认路径启动NginxWeb访问使用yum命令安装yum install -y nginx查看安装命令whereis nginxnginx: /usr/sbin/nginx /usr/lib64/nginx /etc/nginx /usr/share/nginx /usr/share/man/man8/nginx.8.gz /usr/...原创 2019-02-26 14:14:06 · 261 阅读 · 0 评论 -
大数据环境搭建之Flume环境搭建步骤详解
整体介绍收集、聚集、移动实时收集，通常与Storm和Spark集成使用，只能运行在Linux。数据源在Windows可以将目录挂载到Linux上（NFS）。环境准备三台Linux机器、JDK1.6以上http://flume.apache.org/download.htmlhttp://archive.apache.org/dist/flume/ 下载apache-flume-1.6...原创 2019-02-28 13:58:56 · 2465 阅读 · 0 评论 -
Storm实时流处理原理与实践之二：Storm分布式集群部署启动及Web界面查看
文章目录整体介绍环境准备安装配置解压安装包配置文件storm.yaml配置环境变量同步到其他机器启动集群启动Zookeeper启动Nimbus配置整体介绍前一篇介绍了Storm的基本概念和系统架构，本文将搭建Storm集群环境，并运行Storm自带的示例程序。环境准备三台Linux机器、JDK1.8以上、Hadoop、Zookeeper集群环境、Storm1.0.6从官网下载apache...原创 2019-01-27 14:05:06 · 607 阅读 · 0 评论 -
大数据环境搭建之HBase完全分布式环境搭建步骤详解
文章目录整体介绍环境准备安装配置解压安装包配置文件hbase-env.shhbase-site.xml配置环境变量配置Region Server配置Backup Master同步到其他机器启动集群整体介绍前一篇文章搭建了伪分布式环境，本文将搭建HBase集群环境。HBase运行在Hadoop之上，此处使用三台Linux机器搭建完全分布式环境。环境准备三台Linux机器、JDK1.8以上、H...原创 2019-01-19 15:28:51 · 395 阅读 · 0 评论 -
大数据环境搭建之Kafka完全分布式环境搭建步骤详解
文章目录环境准备解压安装配置文件服务启动1、启动分布式集群的zookeeper2、启动Kafka服务伪分布式搭建完毕之后，只要稍作修改就可以变为完全分布式。环境准备Linux：CentOSZookeeper：Kafak内置了zookeeperKafka: Scala 2.11-kafka_2.11-1.0.0.tgz(asc,sha512)下载链接http://kafka.apach...原创 2018-12-23 13:10:17 · 598 阅读 · 0 评论 -
大数据环境搭建之Spark分布式环境搭建步骤详解
文章目录环境准备安装配置下载配置环境变量修改conf目录下文件复制程序到从结点启动Spark集群在bigdata01机器上启动Spark启动时的错误验证是否成功查看进程浏览器查看官方standalone模式文档环境准备安装配置下载http://spark.apache.org/downloads.html下载spark-2.1.3-bin-hadoop2.7.tgz拷贝到Linux机器...原创 2018-12-09 22:32:50 · 506 阅读 · 0 评论 -
大数据环境搭建之HBase伪分布式环境搭建步骤详解
文章目录HBase简介环境准备JDK1.8以上HBase 1.2.6安装模式安装配置解压安装包配置文件hbase-env.shhbase-site.xml配置环境变量启动伪分布式启动本机服务Web访问界面HBase简介HBase是面向列的分布式数据库，能够快速检索大规模数据集，是Hadoop大数据生态系统的一部分。列式存储相对于传统关系型数据库的行数存储来说，存储表的方式不同。行式存储每行的...原创 2018-12-03 21:12:01 · 1701 阅读 · 0 评论 -
大数据环境搭建之Kafka伪分布式环境搭建步骤详解
文章目录Kafka简介环境准备解压安装配置文件服务启动遇到问题Topic相关操作控制台生产者控制台消费者分布式集群架构topic和partition？生产者和消费者？消息保留时间？查看zookeeperKafka开发实战Kafka简介Kafka是一个消息中间件(http://kafka.apache.org/)，可以提供高吞吐量、高容错、高性能的大型系统消息传送。Kafka的数据是持久的，有序...原创 2018-11-22 00:06:25 · 459 阅读 · 0 评论 -
部署zookeeper集群踩的坑
配置完zookeeper后在每个机器上执行./zkServer.sh start都报成功 Starting zookeeper … STARTED但是执行./zkServer.sh status都报错查看bin目录下的zookeeper.out文件，发现报错net.NoRouteToHostException: No route to host (Host unreachable...原创 2018-10-20 00:20:09 · 410 阅读 · 0 评论 -
Linux基本操作学习之五：网络配置
配置机器名查看机器名hostname修改机器名为bigdata01，切换到root用户vim /etc/sysconfig/network修改IP和机器名vim /etc/hosts修改完成重启配置免密登录生成私钥和公钥对ssh-keygen -t rsa本机免密登录cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys...原创 2018-10-13 23:56:57 · 184 阅读 · 0 评论 -
MAC下搭建Intellij IDEA+Scala SDK+Scala插件开发环境
MAC下搭建Intellij IDEA+Scala SDK+Scala插件环境网上很多配置Scala开发环境的都不完整， 只安装了Scala插件，没有Scala SDK。亲试后如下：前提环境：Mac电脑+Intellij IDEA+JAVA 8步骤如下：1、安装Scala插件Intellij IDEA–>Configure–>Plugins在输入框中输入Scala，找到Sc...原创 2018-10-02 17:31:59 · 6796 阅读 · 3 评论 -
Linux基本操作学习之四：文件权限
权限介绍列出当前文件目录下的文件列表$ ll -rw-rw-r– drw-rw-r– 权限一共10位 第1位-代表普通文件，d代表目录，l代表软链接 第2-4位代表当前用户权限，第5-7位代表当前用户组权限，第8-10位代表其他用户权限 r代表读权限，w代表写权限，x代表可执行权限改变文件权限用0-7的可以代表文件的8中权限类型 chmod 760 src 7为rwx ...原创 2018-09-06 08:57:54 · 368 阅读 · 0 评论 -
Linux基本操作学习之三：环境变量
打印全局变量（全部是大写）$ printenv 打印全局变量和局部变量$ set 打印某个环境变量$ echo $HOME原创 2018-09-06 08:57:14 · 150 阅读 · 0 评论 -
Linux基本操作学习之二：常用命令
掌握man命令man命令后接想要查询的命令，可以查询该命令的含义和用法 如man date; man cat; man more等等常用命令列出当前目录文件 ls （which ls 查看当前ls默认行为） ls -a查看隐藏文件 ls -l显示详细列表 ls -i文件索引号 ls -R显示层级 创建文件目录 mkdir 创建文件 touch 将文件修改为可执行文件...原创 2018-09-04 15:43:32 · 715 阅读 · 0 评论 -
大数据环境搭建之Hadoop伪分布式Linux环境搭建步骤详解
启动集群 sbin/hadoop-daemon.sh start namenode sbin/hadoop-daemon.sh start datanode sbin/yarn-daemon.sh start nodemanagersbin/yarn-daemon.sh start resourcemanager快捷键加粗 Ctrl + B 斜体 Ctrl +...原创 2018-08-20 22:12:59 · 467 阅读 · 0 评论