- 博客(185)
- 资源 (12)
- 收藏
- 关注
原创 MQTT系列(四)
本文介绍了在Java中使用MQTT协议的两种实现方式:Eclipse Paho Java Client和spring-integration-mqtt。第一部分详细讲解了使用Eclipse Paho创建MQTT连接、发布消息和订阅主题的具体代码实现,包括建立连接、发送消息和接收消息的完整示例。第二部分简要介绍了spring-integration-mqtt的基础环境搭建,包括必要的依赖配置和启动类注解说明。两种方法都提供了完整的代码片段,便于开发者快速实现MQTT通信功能。
2025-10-12 10:15:43
307
原创 MQTT系列(三)
EMQX Dashboard摘要:EMQX提供内置的Web管理控制台(Dashboard),可通过http://ip:18083访问,默认账号admin/public。主要功能包括认证管理(支持Password-Based、JWT、SCRAM三种方式,可对接内置数据库或外部MySQL/PostgreSQL等)和授权管理(基于ACL文件或多数据库源)。认证支持多认证器链式检查,授权支持规则优先级匹配。Dashboard还提供用户管理、密码重置等功能,是EMQX集群管理和监控的便捷入口。
2025-10-12 10:14:14
1079
原创 MQTT系列(二)
文章摘要 MQTT协议提供了三种QoS等级来满足不同场景下的消息可靠性需求:QoS 0(可能丢失)、QoS 1(可能重复)和QoS 2(仅一次)。QoS 0效率高但可靠性低,适合传感器数据;QoS 1保证到达但需处理重复;QoS 2最可靠但开销最大。此外,MQTT主题是UTF-8字符串,支持通配符(+和#)实现多主题订阅,其中+匹配单层,#匹配多层。主题无需预先创建,发布或订阅时自动生成。
2025-10-12 10:11:58
865
原创 MQTT系列(一)
[文章摘要] MQTT是一种轻量级的发布订阅模式消息传输协议,具有低开销、高可靠性、安全通信等特点,广泛应用于物联网领域。文章详细介绍了MQTT的核心概念(客户端、Broker、主题)和EMQX企业版部署方法,包括Docker安装和EMQX配置。通过EMQX Dashboard可以实现集群监控、访问控制、数据集成等功能。同时介绍了MQTTX客户端工具的使用,包括Desktop和CLI版本,演示了如何建立连接、发布订阅消息等基本操作。全文系统讲解了MQTT协议原理及其实践应用,为物联网开发提供了实用指南。
2025-10-11 17:19:42
897
原创 Mybatis如何解决循环依赖问题
mybatis的循环依赖,即是mapper.xml里面的A查询的resultMap包含了B属性(B属性是通过子查询得到的),而B属性中又包含了A(B查询的resultMap中又包含了A的查询),就会造成A-B-A的情况。
2023-06-25 14:49:17
1516
原创 生产项目中基于springboot项目解决循环依赖的三种方式
在生产项目中,可以使用Spring Boot框架来快速开发Spring应用程序。Spring Boot提供了一种方便的方式来创建独立的,基于Spring的应用程序,并且有着高度的自动化配置和开箱即用的特性。可以使用@Lazy注解来控制Bean的延迟初始化,同时可以使用AOP切面编程来解决循环依赖问题。
2023-06-25 14:44:32
1879
原创 Kerberos从入门到精通以及案例实操系列(一)
整个kerberos认证的过程较为复杂,三次通信中都使用了密钥,且密钥的种类一直在变化,并且为了防止网络拦截密钥,这些密钥都是临时生成的Session Key,即他们只在一次Session会话中起作用,即使密钥被劫持,等到密钥被破解可能这次会话都早已结束,这为整个kerberos认证过程保证了较高的安全性。kerberos认证的整体流图kerberos认证的时序图本地登录(无需认证)远程登录(需进行主体认证,认证操作见下文)退出输入:exit2. 创建Kerberos主体。
2023-06-05 20:00:00
6959
2
原创 Kerberos从入门到精通以及案例实操系列(二)
所以在安全的Hadoop环境下,Kylin不需要做额外的配置,只需要具备一个Kerberos主体,进行常规的认证即可。若Presto对接的是Hive数据源,由于其需要访问Hive的元数据和HDFS上的数据文件,故也需要对Hive Connector进行Kerberos认证。启用Kerberos认证之后,关闭HBase时,需先进行Kerberos用户认证,认证的主体为hbase。但是Kylin所依赖的HBase需要进行额外的配置,才能在安全的Hadoop环境下正常工作。以下说明均基于普通用户。
2023-06-05 16:59:07
1308
原创 Ranger从入门到精通以及案例实操系列
RangerUsersync作为Ranger提供的一个管理模块,可以将Linux机器上的用户和组信息同步到RangerAdmin的数据库中进行管理。Ranger Hive-plugin是Ranger对hive进行权限管理的插件。需要注意的是,Ranger Hive-plugin只能对使用jdbc方式访问hive的请求进行权限管理,hive-cli并不受限制。
2023-06-05 11:35:45
4045
原创 Zabbix从入门到精通以及案例实操系列
Zabbix是一款开源的网络监控、管理和预警系统,可以监控各种网络设备和应用程序,并提供了丰富的通知方式和可视化展示功能。它可以帮助企业实时监测IT基础设施的状态和性能,快速定位和解决潜在问题,使得企业的IT运维更加高效、可靠和安全。
2023-05-31 10:19:45
3362
1
原创 Presto从入门到精通以及案例实操系列
Presto最初由Facebook公司开发,旨在解决Facebook内部大规模数据处理和数据分析的问题。在传统的Hadoop生态圈中,MapReduce作为数据处理框架,虽然能够处理海量数据,但是其查询性能却比较低下,尤其是对于需要进行交互式查询(如数据探索、数据挖掘等)的应用场景,更是不够灵活。为了解决这一问题,Facebook团队在2012年开始开发Presto,其目标是建立一个高性能、可扩展、支持SQL查询语言的跨平台数据处理引擎,以适应Facebook内部不断增长的数据规模和业务需求。
2023-05-29 23:00:00
1569
原创 Kylin从入门到精通以及案例实操系列
Apache Kylin是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc开发并贡献至开源社区,它能在亚秒内查询巨大的Hive表。Kylin 基于 Hadoop 和 HBase 构建,能够支持超大规模数据的查询和分析,并且具有低延迟、高并发、高可扩展等优点。
2023-05-26 17:09:14
3519
1
原创 Flume集群安装部署、Kafka集群安装部署以及Maxwell安装部署实战
Flume集群安装部署、Kafka集群安装部署以及Maxwell安装部署实战
2023-01-25 14:43:34
2250
3
原创 Hadoop集群中HDFS的API测试案例以及MapReduce的多种提交Job方式案例
Hadoop集群中HDFS的API测试案例以及MapReduce的多种提交Job方式案例
2022-12-09 11:44:23
988
原创 HBase系列从入门到精通(三)
Phoenix是HBase的开源SQL皮肤。可以使用标准JDBC API代替HBase客户端API来创建表,插入数据和查询HBase数据。
2022-10-23 00:52:42
494
原创 HBase系列从入门到精通(二)
由于memstore每次刷写都会生成一个新的HFile,且同一个字段的不同版本(timestamp)和不同类型(Put/Delete)有可能会分布在不同的HFile中,因此查询时需要遍历所有的HFile。那么依照这个原则,我们可以将数据所要投放的分区提前大致的规划好,以提高HBase性能。一条数据的唯一标识就是rowkey,那么这条数据存储于哪个分区,取决于rowkey处于哪个一个预分区的区间内,设计rowkey的主要目的 ,就是让数据均匀的分布于所有的region中,在一定程度上防止数据倾斜。
2022-10-23 00:27:01
563
原创 Spark系列从入门到精通(二)
Spark 框架的核心是一个计算引擎,整体来说,它采用了标准 master-slave 的结构。 如下图所示,它展示了一个 Spark 执行时的基本结构。
2022-09-10 11:39:26
953
原创 Scala系列从入门到精通(三)
Scala 的集合有三大类:序列 Seq、集 Set、映射 Map,所有的集合都扩展自 Iterable特质。对于几乎所有的集合类,Scala 都同时提供了可变和不可变的版本,分别位于以下两个包不可变集合:scala.collection.immutable可变集合: scala.collection.mutableScala 不可变集合,就是指该集合对象不可修改,每次修改就会返回一个新对象,而不会对原对象进行修改。类似于 java 中的 String 对象。...
2022-08-31 21:47:21
382
原创 Scala系列从入门到精通(一)
Spark—新一代内存级大数据计算框架,是大数据的重要内容。Spark就是使用Scala编写的。因此为了更好的学习Spark, 需要掌握Scala这门语言。Spark的兴起,带动Scala语言的发展!
2022-08-23 17:35:56
445
原创 DataX从入门实战到精通一文搞定
DataX 是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。Oracle Database,又名 Oracle RDBMS,或简称 Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说 Oracle 数据库系统是目前世界上流行的关系数据库管理系统,系统可移植性好、使用方便、功能强,适用于各类大、中、小、微机环境。.
2022-08-14 22:35:43
4974
Spark 案例测试数据
2022-09-11
spark Linux 版本安装包
2022-09-01
Linux环境HIVE安装包.zip
2022-01-04
xmlutils.zip
2021-04-19
Binary Viewer和jclasslib bytecode viewer
2021-05-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅