大数据以及服务器运维
文章平均质量分 84
大数据
dukangming
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Kafka笔记
目录1.Kafka中的术语解释1.1 概述1.2 broker1.3 Topic1.4 Partition1.5 Producer1.6 Consumer1.7 Consumer Group1.8 Leader1.9 Follower2.Kafka数据消费策略3.Kafka数据生产策略4.Kafka集群配置5.python操作Kafka1.Kafka中的术语解释1.1 概述在深入理解Kafka之前,先介绍一下Kafka中的术语。下图展示了Kafka的相关术语以及之间的关系:上图中一个topic配置了原创 2021-03-17 10:12:46 · 260 阅读 · 0 评论 -
KAFKA
https://www.cnblogs.com/qingyunzong/p/9004509.html#_label3_1目录一、简介1.1 概述1.2 消息系统介绍1.3 点对点消息传递模式1.4 发布-订阅消息传递模式二、Kafka的优点2.1 解耦2.2 冗余(副本)2.3 扩展性2.4 灵活性&峰值处理能力2.5 可恢复性2.6 顺序保证2.7 缓冲2.8 异步通信三、常用Message Queue对比3.1 RabbitMQ3.2 Redis3.3 Ze转载 2021-03-14 00:18:36 · 228 阅读 · 0 评论 -
kafka操作命令
./bin/zkServer.sh start./bin/zkServer.sh stop1、启动Kafkabin/kafka-server-start.sh config/server.properties &2、停止Kafkabin/kafka-server-stop.sh3、创建Topicbin/kafka-topics.sh --create --zookeeper 118.178.254.35:2181 --replication-factor 1 --partitions原创 2020-10-20 15:02:50 · 306 阅读 · 0 评论 -
Hive操作以及Spark部署
1.hive新建表create table demo2(elapsedtime_max double,elapsedtime_min double,elapsedtime_avg double,elapsedtime_std double);2.hive给表加字段alter table demo add columns(synackcount_max bigint,synackcount_min bigint,synackcount_avg bigint,synackcount_std bigint原创 2020-09-03 09:32:38 · 195 阅读 · 0 评论 -
centos常用命令
vim /ect/profile source /etc/profile原创 2019-03-04 20:53:21 · 114 阅读 · 0 评论 -
CentOS7安装mysql提示“No package mysql-server available
在CentOS7上安装mysql时,出现了以下的提示:原因是:CentOS7带有MariaDB而不是MySQL,MariaDB和MySQL一样也是开元的数据库,您可以使用yum -y install mariadb-server mariadb命令安装解决方案:如果必须要安装MySQL,首先必须添加mysql社区repo通过输入命令:sudo rpm -Uvh http://dev.mys...转载 2019-02-27 21:52:13 · 270 阅读 · 0 评论 -
CentOS7查看和关闭防火墙
https://blog.youkuaiyun.com/ytangdigl/article/details/79796961转载 2019-01-25 21:47:18 · 140 阅读 · 0 评论 -
spark使用
1.start-dfs.shstart-yarn.sh 2.[root@hadoop1 bin]# ./hive --service metastore 3.[root@hadoop1 ~]# cd /opt/spark/spark-2.2.0-bin-hadoop2.6/[root@hadoop1 spark-2.2.0-bin-hadoop2.6]# ./sbin/start-...原创 2020-03-17 14:53:57 · 246 阅读 · 0 评论 -
hive+spark搭建
1.hive1.解压tar -zxvf .tar -C 指定目录2.hive-env.sh文件cp hive-env.sh.template hive-env.shvi hive-env.shHADOOP_HOME=/opt/bigdata/hadoop/hadoop-2.8.4 (你HADOOP_HOME路径)export HIVE_CONF_DIR=/opt/bigdata/...原创 2020-03-01 16:26:31 · 697 阅读 · 0 评论 -
Hadoop搭建
1.jdktar -zvxf jdk-8u211-linux-x64.tar.gz -C /opt/bigdata/javavi /etc/profileexport JAVA_HOME=/opt/bigdata/java/jdk1.8.0_211export JRE_HOME=/opt/bigdata/java/jdk1.8.0_211/jreexport CLASSPATH=.:$...原创 2020-02-23 18:53:05 · 212 阅读 · 0 评论 -
Hadoop前的准备
虚拟机安装centos7参考vm安装centos7安装centos7网络配置原创 2020-02-21 16:54:48 · 201 阅读 · 0 评论 -
CentOS7上卸载重新安装Mysql
1.卸载https://blog.youkuaiyun.com/zhwyj1019/article/details/802742692.安装https://blog.youkuaiyun.com/qq_36582604/article/details/80526287https://blog.youkuaiyun.com/wohiusdashi/article/details/89358071https://www.cnb...原创 2020-02-14 13:27:51 · 551 阅读 · 0 评论 -
hadoop+spark重新搭建
1.删除原创 2020-02-07 12:00:15 · 1046 阅读 · 0 评论
分享