- 博客(18)
- 收藏
- 关注
RSS订阅原创 【大数据架构】腾讯云搭建Hadoop集群，服务无法连接问题
最近在尝试自己搭建一个大数据架构，目前的阶段是部署Hadoop集群环境，用了三台腾讯云服务器，但是一切环境配好之后，在hadoop102启动hdfs服务和hadoop103启动yarn后，利用jps命令查看相关进程，发现没有ResourceManager等进程，于是乎说明服务启动失败了，查看了logs目录下的日志，发现了几个问题，下面直接上图吧。
2023-03-18 10:52:47
383
原创 【Linux】用户相关简单操作命令
初始化linux系统时，一般都会使用到root用户进行操作，作为一个超级管理员角色的用户，root拥有的权限有些过多，因此可能会存在安全问题；因此会建议使用操作权限没有这么多的普通用户进行日常的工作。
2023-03-17 23:28:01
245
原创 【大数据常用组件】Flume组件总结
Flume是一个基于分布式的海量日志采集、聚集、传输系统，在大数据领域中得到广泛使用，主要用于采集源数据，工作于数仓中的ODS层。
2023-03-15 14:30:35
1899
2
原创 关于客户端通过注册中心zookeeper向服务器写数据的过程
先上图1、首先客户端向zookeeper注册中心已经在监听的服务器写数据2、如果此时该客户端所连接的服务器不是leader，那么接收到数据的server就会将该请求转发给集群中的leader，而担当leader的服务器又会进一步将数据广播给集群中的其他follower，让所有的follower都将数据写入自己的服务器中3、每台follower写成功后就会通知给leader4、如果lead...
2019-05-26 12:14:05
594
原创 简述一下zookeeper的监听器原理
在学习zookeeper的时候有一个非常重要的点就是监听器，所以整理一下简述这个监听器的原理1、首先会有一个main()线程，也就相当于程序的入口。2、然后在这个main线程中创建zookeeper客户端，这时就自动创建出两个线程，一个是负责网络连接通信的connect线程，另一个则是负责监听的listener线程3、这时客户端可以将注册的监听事件通过connect线程发送给zookeepe...
2019-05-25 23:31:35
735
原创 简述Dubbo的四种负载均衡机制
在分布式系统中有多台的服务器作为提供者负责处理各种网络请求，当同时有多个请求同时过来时，需要将其均摊在各台服务器上，避免了某台服务器压力过大而某台服务器则闲置的问题。Dubbo提供了四种实现负载均衡的机制：1、基于权重随机算法的 RandomLoadBalance这种方式的思想是为每一台服务器设置一个权值，当有请求到来时就按照大体的权重比例为该请求分配服务器。如图当orderService...
2019-05-24 23:19:27
2704
原创 Dubbo的高可用，如果作为注册中心的zookeeper宕机了，那消费者是否还能调用提供者的服务呢？
问题1、如果作为注册中心的zookeeper宕机了，那消费者是否还能调用提供者的服务呢？答案：当然是可以的。先来看请求controller的一个方法请求过浏览器上得到的结果现在我来关闭zookeeper的服务，相当于整个注册中心是已经宕机了，这时我再刷新浏览器结果还是一样的，说明提供者还是能够为消费者服务的那是因为提供者通过本地缓存进行通讯的，如果本地缓存被清除了，那双方就不能通信...
2019-05-23 22:24:54
4453
原创 SpringBoot与Dubbo整合的三种方式（简述）
1、首先第一种是先要在SpringBoot项目中导入dubbo-starter，常见的方式是在maven中引入依赖，然后在application中配置相关属性，下一步是使用@Service注解来暴露提供者，用@Reference来调用远程服务，最后在入口类中用@EnableDubbo注解来开启基于注解的Dubbo功能。这种方式个人感觉还是比较简单实现的。2、第二种方法是要保留provider和...
2019-05-23 22:03:41
444
原创 幂等非幂等
幂等：多次操作或请求的结果都是一样的，比如说查询某条数据，即使请求接口超时，再继续请求第二第三次，查询的结果都是一致的。非幂等：每一次操作的结果都是不一样的，比如说插入某条数据，发送插入请求时，插入接口发生超时，此时调用者再进行第二次发送请求，结果还是超时，再发送第三次请求，结果数据已经多次插入进去了，但我们只需要插入一条，这就是非幂。...
2019-05-23 21:26:01
481
原创 简单讲解Zookeeper的选举机制
都知道zookeeper集群中有一个leader和多个followers，刚学习的时候还非常疑惑到底是怎么定义leader和follower，后来了解了他的选举机制后才知道其实思路还是很简单的：1、首先要知道zookeeper的半数机制，就是集群中只要有半数以上的节点存活，这个集群就能正常服务，比如说一个集群中有6台服务器，但其中只有4台是能够正常提供服务的，那这个集群就能正常服务了，反之若刚...
2019-05-21 21:27:13
993
1
原创 解决SpringBoot 项目使用数据库用户授权登录Security报java.lang.IllegalArgumentException: There is no PasswordEncoder问题
今天在使用Springboot集合Springsecurity的时候，报了一个java.lang.IllegalArgumentException: There is no PasswordEncoder，查了好久才找到了答案，我是使用数据库用户来登录和验证的，因为我用的是security 1.5.0以上的版本，其增加了多种的加密方式，也改变了密码的形式，或许是为了增加安全系数才这样做，也就要求我...
2019-05-21 16:20:52
3363
原创 Spring boot连接mysql进行增删改查时出现时区问题：The server time zone value 'Öйú±ê׼ʱ¼ä' is unrecognized or represe
问题：今天在学习springboot时遇到了一个连接mysql数据库时报的时区错误，具体错误如下：The server time zone value ‘Öйú±ê׼ʱ¼ä’ is unrecognized or represents more than one time zone…解决办法：只需要将mysql时区设置为系统时区即可；1、在cmd界面输入 mysql -u 用户名 -p...
2019-05-06 14:24:37
625
原创 解决IDEA 在线安装MavenHelper插件时无法搜索到的问题
Maven Helper是一款可以方便查看Maven依赖树的插件，可以在IDEA上安装使用，并且MavenHelper支持多种视图来查看Maven依赖，包括列表方式和树形方式，同时还能查看所有存在冲突的依赖包，对于使用maven构建项目的同学来说还是值得一用的。不过山姆在安装maven helper时却发现在线安装方式无法搜索到所需要的插件，加载圈在不停的转动就是无法加载出我想要的插件名…好吧，...
2019-04-29 22:53:06
9441
1
原创 JAVA 截取两段字符串中间的值
Java 截取两段字符串之间的值今天遇到一个需求才想出这样的方法，先mark一下，有一个String字符串：“资产编号：01A03A048 资产名称：办公椅 资产数量：1件;资产编号：02B01A017 资产名称：笔记本电脑 资产数量：1件;”需要取里面所有的资产编号并让入List中，本来想转换成Json再来操作，但好像并不行，于是就找到了用正则来识别区间，然后再将找到的区间放入list的方...
2019-04-25 17:31:20
6054
原创 怎样理解MVVM模式
通过vue.js的简单代码来解释什么是MVVM模式一、什么是MVVM二、Vue基本代码和MVVM模式之间的对应关系三、总结Thanks for Browsing一、什么是MVVM刚接触前端框架的人对MVVM模式可能难以理解，MVVM模式的全称是Model-View-ViewModel模式，当View的视图层发生变化时，会自动更新到ViewModel视图模型，反之亦然，也就是常说的数据双向绑定；...
2019-04-20 23:39:47
2185
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人