大数据
关注
分享
扫一扫
weixin_44256848
这个作者很懒，什么都没留下…
展开
-
KAFKA TOOL 连接带加密的KAFKA服务
1、配置zookeeper现在kafka都内置了zookeeper，所以没有一般我们host和port可以填第一个节点，注意：Kafka版本对应为自己的2、设置Security设置Type为SASL PlainText，下面有提示如何配置JASS Config3、设计Advanced，配置集群4、配置JAAS_Configorg.apache.kafka.common.security.plain.PlainLoginModule requiredusername="转载 2021-09-01 14:50:49 · 1266 阅读 · 0 评论 -
后台启动Kafka
后台启动kafka进入kafka安装目录 /usr/local/kafka_2.11-2.3.0/binnohup ./zookeeper-server-start.sh …/config/zookeeper.properties >>/elk/tmp/zk-logs/zk.log 2>&1 &nohup ./kafka-server-start.sh …/config/server.properties >>/elk/tmp/kafka-logs/k转载 2020-12-23 11:19:44 · 1185 阅读 · 1 评论 -
Eureka工作原理
1.简介Eureka是Netflix开发的服务发现框架，本身是一个基于REST的服务，主要用于定位运行在AWS域中的中间层服务，以达到负载均衡和中间层服务故障转移的目的。SpringCloud将它集成在其子项目spring-cloud-netflix中，以实现SpringCloud的服务发现功能。1、Eureka组件 Eureka包含两个组件：Eureka Server和Eureka Client。1.1 Eureka Server Eureka Server是作为服务的注册与发现中心，提供服转载 2020-12-01 19:53:16 · 1465 阅读 · 0 评论 -
kafka全部数据清空
kafka全部数据清空的步骤为：1.停止每台机器上的kafka；2.删除kafka存储目录（server.properties文件log.dirs配置，默认为“/tmp/kafka-logs”）全部topic的数据目录；3.删除zookeeper上与kafka相关的znode节点；4.重启kafka、如果删除topic还在则需要重启zookeeper；这里以192.168.187.201 node1、192.168.187.202 node2、192.168.187.203 node3三台机器作为转载 2020-08-27 10:15:16 · 1180 阅读 · 0 评论 -
Hadoop内存大小设置问题
namenode管理着集群里面所有文件的信息。简单根据文件信息给出一个准确计算内存大小的公式是不现实的。hadoop默认namenode内存的大小为1000M，这个值对于数百万的文件来说是足够的，可以保守地设置每百万数据块需要1000MB内存。例如，有这样一个场景，一个含有200个节点的集群，每个节点有一个24TB的磁盘，hadoop的block的大小为128MB，有三份拷贝总共需要块的数目大...转载 2019-08-14 15:35:09 · 2970 阅读 · 0 评论 -
HBase——高表与宽表的选择
hbase中的宽表是指很多列较少行，即列多行少的表，一行中的数据量较大，行数少；高表是指很多行较少列，即行多列少，一行中的数据量较少，行数大。hbase的row key是分布式的索引，也是分片的依据。hbase的row key + column family + column qualifier + timestamp + value 是HFile中数据排列依据。HFile据此，对数据的索引到...转载 2019-08-14 14:37:33 · 314 阅读 · 0 评论 -
hbase jmx常用监控指标
hbase的jmx在1.0后分开了master和regionserver的jmx监控，其中master的页面在master_HOSTNAME:60010/jmx页面中，regionserver在REGIONSERVER_HOSTNAME:60030/jmx中，如果想更详细的信息使用http://REGIONSE...转载 2019-08-07 17:03:30 · 2283 阅读 · 0 评论 -
Hive查询失败，连不上端口16020
执行hive查询时，报错如下：Wed Aug 14 10:44:13 CST 2019, null, java.net.SocketTimeoutException: callTimeout=60000, callDuration=69210: Call to server31/10.45.152.31:16020 failed on connection exception: org.apac...原创 2019-08-14 11:22:46 · 2874 阅读 · 0 评论 -
Hadoop的一些JOB操作
1、查看hadoop的JOB列表hadoop job -list2、停止某个JOBhadoop job -kill job_1565856086303_0002;原创 2019-08-19 11:20:56 · 202 阅读 · 0 评论 -
Hadoop内存配置
Hadoop的内存配置有两种方法：1）利用手动安装hadoop的帮助脚本；2）手动计算yarn和mapreduce内存大小进行配置。此处只记录脚本计算方法:1、用wget命令从hortonworks下载脚本wget http://public-repo-1.hortonworks.com/HDP/tools/2.1.1.0/hdp_manual_install_rpm_helper_f...转载 2019-08-14 16:58:17 · 1497 阅读 · 0 评论 -
Hbase官方手册-配置
...转载 2019-08-24 13:46:38 · 465 阅读 · 0 评论 -
Hbase官方手册-快速入门
...转载 2019-08-24 14:17:20 · 106 阅读 · 0 评论 -
hbase在hdfs上的详细目录结构
版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。 ...转载 2019-08-24 15:01:19 · 297 阅读 · 0 评论 -
hive表信息查询：查看表结构、表操作等（转）
问题导读：1.如何查看hive表结构？2.如何查看表结构信息？3.如何查看分区信息？4.哪个命令可以模糊搜索表1.hive模糊搜索表show tables like ‘name’;2.查看表结构信息desc formatted table_name;desc table_name;3.查看分区信息show partitions table_name;4.根据分区查询数据s...转载 2019-08-12 16:28:59 · 2756 阅读 · 0 评论 -
HBase漫谈 | HBase分区过多影响&合理分区数量
版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。 ...转载 2019-08-22 10:22:40 · 1196 阅读 · 0 评论 -
HBase关注的性能指标
1.合并 : hbase写数据—》内存—》磁盘 每次内存写入磁盘时会检查HFile文件大小，必要时将小文件合并成大文件。（关注合并队列对读/写请求的影响）2.分裂 ：当Region大小达到预设值（如50GB），会发生region分裂，分裂成两个大小相当的region。（关注region分裂时，对读/写请求的影响）3.数据倾斜 :数据写入region时，不能平均分布在每个region上，有...转载 2019-08-22 10:34:36 · 548 阅读 · 0 评论 -
hadoop常用操作命令
1.列出根目录下所有的目录或文件hadoop dfs -ls /2.列出/user目录下的所有目录和文件Hadoop dfs -ls /user3.列出/user目录及其子目录下的所有文件（谨慎使用）hadoop dfs -ls -R /user4.创建/soft目录hadoop dfs -mkdir /soft5.创建多级目录hadoop dfs -mkdir -p /a...原创 2019-08-22 19:04:13 · 235 阅读 · 0 评论 -
从influxdata官网下载influxDB的方法
打开influx下载页面 https://portal.influxdata.com/downloads/...转载 2019-08-06 14:28:55 · 1142 阅读 · 1 评论 -
使用JConsole监控HBase内存状态
原文链接： ...转载 2019-08-08 14:45:06 · 129 阅读 · 0 评论 -
Hive关联表
使用Hive时，创建关联表CREATE EXTERNAL TABLE hisdata201908(key string, di string,dn string,li int,ln string,mi string,mk string,mn string,mv string,pn string,rt string,sn string)ROW FORMAT DELIMITED FIELDS T...原创 2019-08-08 11:39:11 · 361 阅读 · 0 评论 -
Hadoop启动的时候，发现Datanode启动不了，解决办法
（1）现象：#jps看不到DataNode（2）可能原因：datanode的clusterID 和 namenode的clusterID 不匹配。（3）解决办法：找到data和name配置的dir路径，找到hdfs-site.xml文件（cd hadoop-2.6.5/etc/hadoop/）<?xml version="1.0"?><?xml-styleshee...转载 2019-05-20 15:46:05 · 409 阅读 · 0 评论 -
Kafka问题小结
1、zookeeper删了/broker节点，可能是前面没启动成功，状态不对，删了重新来2、端口冲突，手工杀掉zookeeper 2181端口netstat -anp|grep 2181ps -ef|grep kafkakill -9 PID3、发送消息提示could not be established. Broker may not be available.你在server.pr...原创 2019-05-15 15:19:52 · 226 阅读 · 0 评论 -
Hadoop单点安装FAQ
安装源：yum install epel-release -yQ1:Starting namenodes on [localhost]ERROR: Attempting to launch hdfs namenode as rootERROR: but there is no HDFS_NAMENODE_USER defined. Aborting launch.解决1：是因为缺少用...转载 2019-05-17 10:47:51 · 136 阅读 · 0 评论 -
kafka使用时，关于kafka自带的zookeeper和自己的zookeeper的使用问题
前言：最近看到挺多人在问，kafka已经自带zookeeper，会不会和自己搭的zookeeper集群起冲突。解答：当然是不会的，在使用kafka时，你可以自己决定使用哪个zookeeper。一，使用kafka自带的zookeeper kafka自带的zookeeper的启动文件默认在kafka的启动目录下，也就是kafak的bin目录。所以如果你想使用kafka自带的zookeepe...转载 2019-05-17 16:46:30 · 3871 阅读 · 0 评论 -
Hbase 建表基本命令总结
访问hbase,以及操作hbase，命令不用使用分号hbase shell 进入hbaselist 查看表hbase shell -dhbase(main):024:0> scan ‘.META.’=小例子=======================================创建一个表memberhbase(main):025:0> create ‘member...转载 2019-05-27 10:31:38 · 837 阅读 · 0 评论 -
Hbase建表操作--shell语句
一. 介绍HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。HBase以表的形式存储数据。表有行和列组成。列划分为若...转载 2019-05-27 11:07:48 · 755 阅读 · 0 评论 -
hadoop之JPS命令真相与hadoop进程PID剖析
1.jps命令简介选项 作用 -q 只输出LVMID,省略主类的名称 -m 输出启动时，传给...转载 2019-07-15 22:21:12 · 283 阅读 · 0 评论 -
hadoop启动过程中出现Error: JAVA_HOME is not set and could not be found.解决办法
安装好hadoop后，启动终端和启动hadoop时出现Error: JAVA_HOME is not set and could not be found.错误需要修改hadoop目录下的/etc/hadoop/hadoop-env.sh文件。用vim hadoop-env.sh打开文件找到JAVA_HOME=${JAVA-HOME}修改为自己的java安装路径，保存就可以了现在启动...转载 2019-07-16 08:44:45 · 5588 阅读 · 1 评论 -
hbase集群在启动的时候找不到JAVA_HOME的问题
hbase集群在启动的时候找不到JAVA_HOME的目录下的文件问题,启动集群的时候报错信息如下:如果出现以上错误，应该修改conf文件下的hbase-env.sh文件中的java_home的环境变量,要么是java_home前面的#没有去掉,要么是java_home的路径配置错误，仔细检查。...转载 2019-07-16 10:49:42 · 1708 阅读 · 0 评论 -
hdfs权限认证org.apache.hadoop.security.AccessControlException: Permission denied: user=root
原因：没有给根目录授权会默认以root身份去将作业写入hdfs文件系统中，对应的也就是 HDFS 上的/user/x...转载 2019-07-16 15:35:53 · 1257 阅读 · 0 评论 -
Kafka入门
kafka版本0.11.0.1以上自带zookeeper，必须要求环境中有jdk，解压后进入目录1、在kafka解压目录下下有一个config的文件夹，里面放置的是我们的配置文件 consumer.properites 消费者配置，此处我们使用默认的即可producer.properties 生产者配置，此处我们使用默认的即可server.properties kafka服务器的配置，...转载 2019-07-19 11:44:25 · 80 阅读 · 0 评论 -
hadoop3.1.1下MapReduce操作出现错误: 找不到或无法加载主类org.apache.hadoop.mapreduce.v2.app.MRAppMaster 问题解决方法
Hadoop3.1.1下成功安装后，进行MapReduce操作出现错误：错误: 找不到或无法加载主类org.apach...转载 2019-07-29 16:26:03 · 472 阅读 · 0 评论 -
Hive metastore三种配置方式
Hive的meta数据支持以下三种存储方式，其中两种属于本地存储，一种为远端存储。远端存储比较适合生产环境。Hive官方wiki详细介绍了这三种方式，链接为：Hive Metastore。一、本地derby这种方式是最简单的存储方式，只需要在hive-site.xml做如下配置便可<?xml version="1.0"?><?xml-stylesheet type="te...转载 2019-07-25 09:22:44 · 180 阅读 · 0 评论 -
HDFS基本命令的使用
hdfs文件的相关操作主要使用hadoop fs、hadoop dfs、hdfs dfs 命令，以下对最常用的相关命令进...转载 2019-07-22 11:16:40 · 161 阅读 · 0 评论 -
HBase统计表行数(RowCount)的四种方法
背景：对于其他数据存储系统来说，统计表的行数是再基本不过的操作了，一般实现都非常简单；但对于HBase这种key-value存储结构的列式数据库，统计 RowCount 的方法却有...转载 2019-07-26 22:07:53 · 717 阅读 · 0 评论 -
ES （Elasticsearch）入门指南
版权声明：原创文章 欢迎参考 请勿抄袭 https://blog.youkuaiyun.com/aA518189/article/details/86064737 &lt;/div&gt; &lt;link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/temp...转载 2019-01-23 17:10:09 · 1975 阅读 · 0 评论