duyenson的博客

hive中文编码问题

1、Hadoop错误信息：Failed to locate the winutils binary in the hadoop binary path. Could not locate executable null\bin\winutils.exe in the Hadoop binaries2、原因：window本地无法获取hadoop的配置，报错是缺少winutils.exe程序。Hadoop都是运行在Linux系统下的，在windows下eclipse、Idea中运行mapreduce程序和操

1.HDFS 概念HDFS（Hadoop Distributed FileSystem），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。集群不一定是分布式的，但是分布式一定是集群。HDFS 的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据 分析，并不适合用来做网盘应用。2.HDFS 优缺点1.优点（1） 高容错性a) 数据自动保存多个副本。它通过增加副本的形式，提高容错性；b)

1. 查看当前服务器中的所有 topic[root@datastudio02 kafka]$ bin/kafka-topics.sh --zookeeper datastudio02:2181 --list2. 创建 topic[root@datastudio02 kafka]$ bin/kafka-topics.sh --zookeeper datastudio02:2181 --create --replication-factor 3 --partitions 1 --topic firs

配置这些参数前，应充分理解这几个参数的含义，以防止误配给集群带来的隐患。另外，这些参数均需要在yarn-site.xml中配置。ResourceManager相关配置参数（1） yarn.resourcemanager.address参数解释：ResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序，杀死应用程序等。默认值：${yarn.resourcemanager.hostname}:8032（2） yarn.resourcemanager.scheduler

1、 日志聚集介绍MapReduce 是在各个机器上运行的， 在运行过程中产生的日志存在于各个机器上，为了能够统一查看各个机器的运行日志，将日志集中存放在 HDFS 上， 这个过程就是日志聚集。如果打开了日志聚合的选项，即yarn.log-aggregation-enable，container的日志会拷贝到hdfs上去，并从机器中删除。可以使用yarn logs -applicationId 命令，来查看日志yarn logs命令，会打印出application对应的所有container的日志出来，当

spark-submit的master参数以及Spark的部署方式参数说明参数说明–master集群的master地址。如：spark://host:port，mesos://host:port，yarn-client，yarn-cluster，local[k]本地以k个worker线程执行，k一般为cpu的内核数，local[*]以尽可能多的线程数执行。那么这个参数该如何设定？首先我们需要知道spark有哪些部署方式。我们要部署Spark这套计算框架，有多种方式，可以部署

一、安装1.从 Apache Kylin下载网站 下载一个适用于您 Hadoop 版本的二进制文件。或者点击下载2.将下载好的压缩包上传到Linux上，并解压：tar -zxvf apache-kylin-2.5.1-bin-hbase1x.tar.gz3.改名：mv apache-kylin-2.5.1-bin-hbase1x.tar.gz kylin-2.5.14.此时，kylin就安装成功，接下来需要配置kylin环境变量,编辑文件，（因为要用到hbase、hive、hadoop，所

用hbase shell 创建表的时候出现：“SearchCount is disabled”hbase(main):002:0> count 'SearchCount'ERROR: org.apache.hadoop.hbase.DoNotRetryIOException: SearchCount is disabled.Here is some help for this co...

在使用spark streaming消费Kafka实时流数据的时候，在idea上运行出现以下错误：E:\Software_DevelopmentKit\Java\jdk1.8.0_212\bin\java.exe "-javaagent:E:\Software\Work\JetBrains\IDEA\IntelliJ IDEA 2019.3\lib\idea_rt.jar=51890:E:\So...

在kafka中创建新的topic时，输入命令：kafka-topics.sh --zookeeper node01:2181/kafka --create --replication-factor 1 --partitions 1 --topic t1如果出现：ERROR org.apache.kafka.common.errors.InvalidReplicationFactorExc...

初始化hive百度了一下是，输入后报错，如下：[root@cluster-1 conf]# schematool -dbType mysql -initSchemabash: schematool: 未找到命令…于是我就通过yum命令安装嘛，出错，报错如下：[root@cluster-1 conf]# yum -y install schematool已加载插件：fastestmirro...

1.启动flume1.创建flume Agent配置文件：#指定agent的sources,sinks,channelsa1.sources = s1 a1.sinks = k1 a1.channels = c1 #配置sources属性a1.sources.r1.type = netcata1.sources.r1.bind = localhosta1.sourc...

标题flume-ng version出现错误Error: Could not find or load main class org.apache.flume.tools.GetJavaPrope的解决办法问题描述：错误: 找不到或无法加载主类org.apache.flume.tools.GetJavaProperty解决办法：原因：ng脚本问题。在bin目录下，编辑flume-ng文...

flume从入门到实战（简介）本文是对flume进行总结

#zookeeper从入门到实战##（简介）本文是对架构设计阶段的zookeeper进行总结