- 博客(21)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Java实现合并IP段，未验证，思路正确
方法中，我们首先按照CIDR起始IP进行排序，然后使用一个循环来合并范围。如果当前合并范围的结束IP加1大于等于下一个范围的起始IP，说明这两个范围可以合并，我们更新当前合并范围的结束IP为较大的值。如果无法合并，我们将当前合并范围添加到结果列表中，并更新当前合并范围为下一个范围。使用Java编写，合并一批CIDR格式的IP段，主要是判断是否有小范围的IP段可以合并成大范围的IP段，要求不能丢弃IP，也不能增加IP。方法用于提取CIDR范围的起始IP和结束IP，并将它们表示为整数。方法来合并这些范围。
2023-06-26 14:58:25
479
1
原创 Slowloris攻击与Netflow
Slowloris是网络攻击中比较老牌的选手了，关于它的防范技术也都很成熟，如果加上Netflow技术，其实可以做到更多。
2023-04-27 22:54:02
287
原创 记一次Spark任务Driver端问题排查
Spark任务提交Client模式报错找不到依赖，换成Cluster模式就乖乖听话了，这问题其实很简单。
2023-04-26 12:00:00
344
4
原创 Hello Flink（一）
其实这并不是我第一次接触Flink，但是之前都是浅浅的了解，这次准备好好认识一下这位公认的Spark的强大对手——Flink！
2023-04-24 12:00:00
665
原创 Debian安装Java 11
本文用到的安装工具为dpkg，适合安装XXXX.deb安装包，这里只是以安装Java为例。中间还有一点小插曲，因为在此之前用的jdk-17，没有卸载干净。
2023-04-22 23:13:38
2568
原创 子线程中调用System.exit
验证了在子线程中调用System.exit依然可以使JVM结束 public static void main(String[] args) { Thread tA = new Thread(() -> { for(int i = 0; i < 1000; i++){ System.out.println("线程A "+i); } .
2021-01-05 18:52:20
583
原创 HDFS Federation 联邦机制
HDFS Federation 联邦机制1、HDFS的层级NameSpace: Directories, Files, BlocksBlock Storage: Block Management, Storage命名空间由目录，文件和块组成。它支持所有与命名空间相关的文件系统操作，例如创建，删除，修改和列出文件和目录。块存储服务，包括两部分：块管理（在Namenod...
2019-08-14 16:28:05
3526
原创 HDFS中的EC
HDFS中的ECHadoop 3.0中的HDFS擦除编码（EC）是我们在早期版本的Hadoop中遇到的问题的解决方案，这只是它的3倍复制因素，这是保护我们的数据的最简单方法，即使在Datanode失败但需要额外的存储太多了。现在，在EC存储开销中神奇地减少到50％，这是因为HDFS默认的3x复制因子而提前200％，这似乎是额外的工作/负载来存储除了原始数据块之外的两个额外块，具有相同的资源量原始...
2019-08-14 16:25:56
3490
原创 Erasure Code - EC纠删码原理
Erasure Code - EC纠删码原理一、什么是Erasure CodeErasure Code（EC），即纠删码，是一种前向错误纠正技术（Forward Error Correction，FEC，说明见后附录），主要应用在网络传输中避免包的丢失， 存储系统利用它来提高 存储 可靠性。相比多副本复制而言， 纠删码能够以更小的数据冗余度获得更高数据可靠性， 但编码方式较复杂，需要大量计算 ...
2019-08-14 16:19:21
802
转载 Cloudera-Manager修改集群主机的IP
1、业务需求说明：由于公司网络进行了整改，随之而来的就是对应的ip网段发生了变化，其中我的hadoop的集群各主机的ip也相应的发生了改变，因此需要对各主机进行修改ip。2、具体操作：首先停止cdh各组件的服务，修改各主机的ip。修改完后，本以为完事儿了，启动Cloudera Management Service时，发现启动失败，无法启动。那么问题就来了，如何通过cloudera-manage...
2019-07-09 23:00:25
392
原创 Hue的那些坑。。
1、hue的报错信息为Error: 1366: Incorrect string value解决办法：在元数据库执行以下语句：alter database hue character set latin1;alter table beeswax_queryhistory modify `query` longtext CHARACTER SET utf8 COLLATE utf8_gen...
2019-07-01 15:56:23
812
原创 CentOS 7环境下的HUE的安装与配置
CentOS 7环境下的HUE的安装与配置：前言：本文较长，为作者花费两天时间踩了n多的坑之后所写，阅读可能需要很多时间，可以按目录查看所需安装环境：Cent OS 7、Java 1.8.0_211、Hadoop-2.7.7、MySQL 5.7、Maven 3.5.2、Python 2.7、Node-v10.16.0、Hive-2.3.5、Hue-4.4.0所用到的文件资源：链接：http...
2019-06-30 14:29:25
611
原创 Hadoop
Hadoop仅完善了Yarn、Hive、kettle部分，其余待完善HDFS设计思想优缺点NameNodeDataNodeSecondaryNameNodehdfs的读写流程NameNode和snn的工作机制可靠性策略块的副本放置策略checkPoint动态增删节点离开安全模式YarnResourceManager职责1、资源调度2、资源监视3、App...
2019-05-21 11:41:40
143
原创 JavaSE入门，基础知识点梳理
JavaSE整理这是我在实训时第一阶段做的知识点总结，某些部分可能不是很完善，您可以留下宝贵的建议，我会以最快速度修改。第一周基础语法进制、进制分类、进制转换0 开头为八进制0b 开头为二进制0x 开头为十六进制原码、反码、补码原码：一个字节8位，第一位用0/1表示正负反码：负数的反码符号位不变，其余位按位取反补码：负数的补码为反码+1（原码符号位后按位取反...
2019-04-23 11:23:26
213
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人