Masli的博客

参考文档：https://blog.youkuaiyun.com/u013457387/article/details/87856770我就是参考上面的教程来搭建的，非常感激补充一下：1，workers的设置主节点的workersnode200node300从节点的workersnode100node300和node100node2002，三个节点的core-site.xml都...

面试高频问题一：hdfs 读写流程

简单介绍HDFS的架构、优缺点、以及一些基本的命令行

1、E:\kafka_2.11-1.0.0\tmp\kafka-logs\__consumer_offsets-9\00000000000000000000.timeindex: 另一个程序正在使用此文件，进程无法访问。解决方式：手动删除\kafka-logs里的日志文件重启kafka2、出现两个Consumer同时消费同一个topic下面的同一个group，只有一个能够读取到数据：原因：...

注意使用kafka tool 访问 kafka 时，需要在windows 的host文件里面加上你kafka的主机名，文件路径在/windows/system32/drivers/etc，因为kafka tool是通过主机名来访问的。...

MySQLESDatabaseIndexTableTypeRowDocumentColumnFieldSchemaMapping

#### 例子来简单介绍一下ES的增删改查 ##### 新建一个test索引，里面有四个字段PUT /test{ "mappings": { "properties": { "title":{"type": "text"}, "name":{"type": "text"}, "age":{"type": "integer"}, "c...

使用CDH来安装大数据组件的时候，当安装到YARN、Hbase、Spark的时候报错，主要原因是YARN、Hbase、Spark在HDFS里面没有权限去创建文件SparkSecurityManager: authentication disabled; ui acls disabled; userswith view permissions : Set(spark); groups with...

问题描述:1、上传rpm安装包到CentOS 7 ，运行yum install xxx.rpm，报错说需要依赖一些安装包，例如libicu等等，十分奇怪2、此时又是可以上网的3、换一种方式，采用从网上找的repository RPM，按照PostgreSQL官网提示进行安装，但是还是提示安装失败，此时报错内容为Loaded plugins: fastestmirror处理方案：1、出现报...

参考文档：https://www.cnblogs.com/aiaitie/p/9306604.htmlhttps://www.cnblogs.com/cac2020/p/10644313.html补充：1、spark-env.sh的配置export SCALA_HOME=/usr/local/scala/scala-2.13.1export JAVA_HOME=/usr/local/...

参考文档：https://blog.youkuaiyun.com/llwy1428/article/details/89714709补充：1、用非root 用户启动ES，否则报错2、一些可能遇到的运行错误错误一：[1]: max number of threads [3828] for user [es] is too low, increase to at least [4096]解决方案：...

参考文档：https://blog.youkuaiyun.com/fenggms/article/details/82932697https://www.cnblogs.com/qixing/p/11436322.html补充:1、版本下载错了，下了个还没编译的，src，其实要下载名字带 bin 的那个版本，运行hbase -version，如果报下面的错误就要换一个安装包，或者下载安装Maven，自...

参考文档：https://www.cnblogs.com/longBlogs/p/10340251.html补充：在node100上面配置好了之后，将整个文件拷到node200，node300注意：node200的server.propertie需要修改broker.id=2listeners=PLAINTEXT://node200:9092node300的server.prop...

启动zookeeper，查看zookeeper状态，显示如下：Error contacting service. It is probably not running.不知所云，查看日志，zkServer同目录有一文件zookeeper.out，点他，看起来Cannot open channel to 2 at election address node200/192.168.197.12...

[root@node300 /root]$ beeline -u jdbc:hive2://node300:10000SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/usr/local/hive/apache-hive-3.1.2-bin/lib/log4j-slf4j-...

参考文档：https://www.cnblogs.com/caoxb/p/11333741.html执行hive，报错which: no hbase in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/usr/local/java/jdk1.8/bin:/usr/local/java/jdk1.8/jre/bin:/usr/local/...

启动Hadoop,在主节点启动./start-all.sh后，主节点会去启动datanode，datanode再访问主节点的9000端口作为回应，此时需要主节点有在监听外部IP，之所以报这个错误，是因为主节点压根就没去监听外部访问。先看博主的/etc/hosts内容如下：127.0.0.1 localhost localhost.localdomain localhost4 localho...

Redis Cluster集群的搭建与实践原文作者是基于127.0.0.1[本地ip]搭建的redis集群，亲试可以修改redis.conf里面的配置，在“#bind 127.0.0.1”添加“bind 192.168.x.x[你的ip]”,部署为“sudo ./redis-trib.rb create –replicas 1 192.168.x.x:6380 192.168.x....

Zookeeper是一个协调服务，可以用它来作为配置维护、名字服务、分布式部署；1.官网下载 2.解压 tar -zxvf /home/lk/下载/zookeeper-3.3.6.tar.gz3.进入conf目录，拷贝zoo_samle.cfg为zoo.cfg cp zoo_sample.cfg zoo.cfg 4.编辑zoo.cfg # th...

文章转载于https://blog.youkuaiyun.com/rico_zhou/article/details/79866076