- 博客(6)
- 收藏
- 关注
RSS订阅原创 安装Python Mysql驱动报错问题解决
类似于ERROR里的错误，是mysql缺失了lib包，解决办法。如果没有这个安装包，到我的mysql5.7那篇文章自行下载。安装图中的依赖即可解决。
2022-10-20 14:16:43
731
原创 Hadoop解决SecondaryNameNode Web页面加载问题
去到hadoop104 ，cd 到/opt/module/hadoop/share/hadoop/hdfs/webapps/static 目录下，修改。可以看到，没有显示任何内容，按F12,点Console可看到是因为有报错。这是因为hadoop本身自己的小BUG我们只需要稍加修正就可以了，vim dfs-dust.js 文件 ，第61行函数为这样，然后清除历史记录 刷新页面 即可解决。
2022-10-18 19:54:19
824
原创 Flink处理数据倾斜
在 keyBy 上游算子数据发送之前，首先在上游算子的本地对数据进行聚合后，再发送到下游，使下游接收到的数据量大大减少，从而使得 keyBy 之后的聚合操作不再是任务的瓶颈。如果 keyBy 之前就存在数据倾斜，上游算子的某些实例可能处理的数据较多，某些实例可能处理的数据较少，产生该情况可能是因为数据源的数据本身就不均匀，例如由于某些。// 如果出现 pv!// 单个 subtask 恢复的状态中可能包含多个相同的 mid 的 count 数据。批）的情况下，简单的认为使用两阶段聚合，是不能解决问题的。
2022-09-28 08:55:00
437
原创 redis是同步还是异步？阻塞还是非阻塞？
https://blog.youkuaiyun.com/bandaoyu/article/details/90694602 io/阻塞同步概念，linux解释。这个问题其实一直困惑着我，网上怎么说的都有，我也查看了很多人讲的东西，有了自己的一点点理解。：这个文章里提到，异步就是异步，没有阻塞和非阻塞之称。redis在处理客户端的请求时，是单线程逐个处理的，所以redis又是同步的。由于redis客户端在调用时等待服务器的返回，所以redis是阻塞的。从调用方理解，调用后是否立刻返回，阻塞会被挂起，非阻塞不会被挂起。
2022-09-21 13:56:43
1606
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人