- 博客(47)
- 收藏
- 关注
原创 RocketMQ 知识速览
事务消息是生产者通过 rocketMQTemplate.sendMessageInTransaction 方法发送的。RocketMQ 消息存储架构中的三大角色——CommitLog、ConsumeQueue 和 IndexFile。比较常见的分布式事务实现有 2PC、TCC 和事务消息(half 半消息机制);RocketMQ 使用 事务消息 + 事务反查机制。消息堆积的根源:生产者生产太快 或 消费者消费太慢。以上步骤 都是在生产者监听器实现类中实现的,同步刷盘 & 异步刷盘。
2025-01-13 21:20:39
1317
原创 Redis 知识速览
Redis 是一个用 C 语言编写的高性能非关系型(NoSQL)键值对数据库。数据类型:键的类型只能为字符串,值支持五种数据类型:字符串(String)、列表(List)、集合(Set)、散列表(Hash)、有序集合(Zset)。存储方式:数据存在内存中,读写速度快。应用场景:缓存、分布式锁、事务处理、持久化、LUA脚本执行、LRU驱动事件、多种集群方案。
2025-01-13 20:55:12
1138
原创 LangChain4j 框架探索
Langchain for java 的框架探索中,Langchain 的结构化特性 将 AI 的灵活开放特性 和 Java 开发友好的面向对象特性 结合起来,这点引起极大舒适;从和 python 版本的对比看来,Langchain4j 在实现时加入了自己的思考,并不是照抄照搬,值得肯定;在具体的开发实践中,我从最初接触时的 0.32 过渡到了 最新的 0.36 版本,能感受到框架实现是越来越成熟的,对各类模型的集成和更新也是能跟上最新技术变革和变动的;
2025-01-04 18:41:20
1358
原创 【测试工具】 Postman 基本使用
作为一个常用的接口测试工具,postman具有交互性强,操作简单,具有协作能力、环境切换能力等优点。本文用于记录目前我使用postman的些许心得。
2025-01-04 18:12:38
1381
原创 Spring Security 原理、源码解析及进阶
Spring Security 是一个功能强大且高度可定制的身份认证和访问控制框架。它实际上是保护基于 Spring 的应用程序的标准。Spring Security是一个框架,侧重于为 Java应用程序 提供身份认证和授权。与所有 Spring 项目一样,Spring Security 的真正强大之处在于它可以轻松地扩展以满足定制需求。OAuth是一个关于授权(authorization)的开放网络标准,使得第三方应用可以使用该令牌在限定时间限定范围访问指定资源。
2024-09-02 12:00:01
1149
1
原创 AWS 专题学习 P15 (VPC、Network)
CIDR - IP 范围VPC - 虚拟私有云 => 我们定义了一个 IPv4 和 IPv6 CIDR 的列表子网 - 与 AZ 相关联,我们定义一个 CIDRInternet 网关 - 在 VPC 级别提供 IPv4 和 IPv6 的 Internet 访问路由表 - 必须编辑以添加子网到 IGW、VPC Peering 连接、VPC 端点等的路由跳板主机 - 公共 EC2 实例用于 SSH,并具有与私有子网中的 EC2 实例的 SSH 连接。
2024-01-31 12:00:00
1317
原创 AWS 专题学习 P13 (Advanced Identity)
在使用 EventBridge 时,当规则触发时,它需要对其指定的目标资源具有适当的权限。aws:RequestedRegion 限制 API 调用的区域。使用 托管策略 设置 IAM 实体可以获得的最大权限的高级功能。aws:SourceIp 限制 API 调用的客户端IP。IAM 权限边界 适用于用户和角色(不适用于组)可以确保 IAM 实体仅具有符合其职责的最小权限。所有账户可以进行统一计费 - 单一付款方式。提供 API 以自动化创建 AWS 账户。允许管理多个 AWS 账户。
2024-01-29 12:00:00
790
原创 AWS 专题学习 P11 (Machine Learning)
Rekognition:人脸检测、标记、名人识别Transcribe:音频转文本(例如字幕)Polly:文本转音频Translate:翻译Lex:构建对话机器人 - 聊天机器人Connect:云联系中心Comprehend:自然语言处理SageMaker:为每个开发人员和数据科学家提供机器学习Forecast:构建高度准确的预测Kendra:基于机器学习的搜索引擎Personalize:实时个性化推荐Textract:检测文档中的文本和数据。
2024-01-27 12:00:00
772
原创 AWS 专题学习 P12 (CloudWatch、CloudTrail、AWS Config)
Amazon EventBridge(前身为 CloudWatch Events)专题内容总览和系列博客目录。
2024-01-27 12:00:00
1394
原创 AWS 专题学习 P10 (Databases、 Data & Analytics)
托管的 PostgreSQL / MySQL / Oracle / SQL Server / MariaDB /自定义预置的 RDS 实例大小和EBS卷类型和大小存储的自动扩展功能支持读副本和多个可用区通过 IAM,安全组,KMS,SSL 在传输中提供安全性带有特定时间恢复功能(最多35天)的自动备份长期恢复的手动数据库快照托管和计划维护(有停机时间)支持 IAM 身份验证,与 Secrets Manager 集成。
2024-01-25 23:24:39
1452
原创 AWS 专题学习 P9 (API Gateway、Cognito、Serverless SA)
无服务器 REST API: HTTPS、API Gateway、Lambda、DynamoDB使用 Cognito 通过 STS 生成临时凭证来访问带有受限策略的 S3 存储桶。应用程序用户可以通过这种方式直接访问 AWS 资源。这种模式可以应用于DynamoDB、Lambda 等。使用 DAX 在 DynamoDB 上缓存读取操作在 API Gateway 层级上缓存 REST 请求使用 Cognito 和 STS 进行身份验证和授权的安全性。
2024-01-25 23:15:12
1325
原创 AWS 专题学习 P8 (ECS、EKS、Lambda、CloudFront、DynamoDB)
Docker 是一个用于部署应用程序的软件开发平台Docker 容器可以在任何操作系统上运行,应用程序运行在容器中应用程序运行过程相同,无论它们在何处运行 —> 行为可预测无兼容性问题,更易于维护和部署减少工作量使用案例:微服务架构、将应用程序从本地直接迁移到 AWS 云,…这是在 AWS 上启动托管 Kubernetes 集群的一种方法Kubernetes 是一个开源系统,用于自动部署、扩展和管理容器化(通常是 Docker)应用程序。
2024-01-20 21:55:00
1997
原创 AWS 专题学习 P7 (FSx、SQS、SNS)
在 AWS 上启动的第三方高性能文件系统,以下是一些 AWS 完全托管的服务:适用于 Windows 的 Amazon FSx(文件服务器)FSx for Windows 是完全托管的 Windows 文件系统共享驱动器支持 SMB 协议和 Windows NTFSMicrosoft Active Directory 集成、ACL、用户配额可以安装在 Linux EC2 实例上支持 Microsoft 的分布式文件系统 (DFS) 命名空间(跨多个 FS 的组文件)
2024-01-20 21:52:17
1861
原创 AWS 专题学习 P6 (CloudFront、Global Accelerator、Snow Family)
利用 AWS 内部网络路由到应用程序会为应用程序创建 2 个任播 IP任播 IP 直接将流量发送到边缘站点边缘站点将流量发送到应用程序适用于弹性 IP、EC2 实例、ALB、NLB、公共或私有在边缘位置创建数据时对其进行处理公路上的卡车、海上的轮船、地下的采矿站…这些地点可能有互联网访问受限/无法访问计算能力有限/不易获得我们设置 Snowball Edge / Snowcone 设备来进行边缘计算边缘计算的用例:预处理数据边缘机器学习对媒体流进行转码。
2024-01-18 23:18:02
1087
原创 AWS 专题学习 P5 (Classic SA、S3)
Web 应用程序的 3 层架构公有子网层私有子网层数据子网层用于存储 Session(替代方案:DynamoDB)用于缓存来自 RDS 的数据多可用区RDS用于存储用户数据用于扩展读取的读取副本用于灾难恢复的多可用区Elastic Beanstalk 是在 AWS 上部署应用程序的以开发人员为中心的视图它使用了我们之前见过的所有组件:EC2、ASG、ELB、RDS……托管服务自动处理容量配置、负载平衡、扩展、应用程序运行状况监控、实例配置……
2024-01-18 23:17:14
1434
原创 AWS 专题学习 P4 (Route 53)
将 Amazon友好的主机名转换为机器 IP 地址的域名系统DNS 是互联网的支柱DNS 使用分层命名结构。
2024-01-16 23:18:49
1442
原创 AWS 专题学习 P3 (RDS、Aurora、ElastiCache)
将 Aurora 实例的子集定义为自定义端点示例:对特定副本运行分析查询Reader Endpoint 通常在定义 Custom Endpoints 后不使用RDS 的方式是获得托管的关系数据库…Elasticache 是要管理 Redis 或 Memcach缓存是内存数据库,具有非常高的性能,低延迟有助于减少数据库的负载,以读取密集工作负载有助于使您的申请无状态AWS 负责 OS 维护 /修补,优化,设置,配置,监视,故障恢复和备份。
2024-01-16 23:17:55
1224
原创 AWS 专题学习 P1 (IAM、EC2 Basics)
IAM 服务 + EC2 服务EC2 实例:AMI (OS) + 实例大小(CPU + RAM)+ 存储 + 安全组 + EC2 用户数据安全组:附加到 EC2 实例的防火墙EC2 用户数据:实例首次启动时启动的脚本SSH:启动终端进入我们的 EC2 实例(端口 22)EC2 实例角色:链接到 IAM 角色购买选项:按需、竞价、预留(标准+可转换+计划)、专用主机、专用实例。
2024-01-14 23:04:11
1114
原创 AWS 亚马逊云服务专题学习
https://www.udemy.com/course/aws-certified-solutions-architect-associate-saa-c03/
2024-01-14 22:49:13
1673
原创 Mac M1芯片本地安装 hadoop 集群填坑之路
本文的目的是在 macOS 搭建基于docker 容器的hadoop集群,记录过程中遇到的问题和各种解决方案。
2022-10-15 16:01:25
2662
原创 Hadoop 基础【原理 + 实践】
Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。主要解决海量数据的存储和海量数据的分析计算问题。广义上来说,Hadoop 通常是指一个更宽泛的概念——Hadoop 生态圈。
2022-10-10 15:54:00
1857
原创 Redis Cluster 搭建指南
文章目录一、集群搭建1.1 环境准备1.2 配置参数二、集群启动和重启2.1 首次启动2.2 故障重启三、其他集群操作3.1 扩容3.2 收缩集群一、集群搭建1.1 环境准备服务器redis-5.0.x压缩包1.2 配置参数redis解压到工作目录下,新建cluster/文件夹,在cluster/目录下再分别新建6个对应端口号的子文件夹7000/、7001/、7002/、7003/、7004/、7005/;注:这里准备运行6个redis实例跑官方推荐的最低配置——三主三从。将默认配置文
2021-07-24 23:07:01
907
原创 windows下sqlplus远程连接oracle
一、下载准备二、环境配置三、远程连接打开cmd窗口sqlplus /nolog 进入SQL环境conn username/password@ip:port/服务名 [as sysdba]
2020-10-18 23:22:15
3174
原创 计网知识梳理(面向工作)
知识点梳理计算机网络主要指的就是TCP/IP协议栈,是互联网的基石容易忘是因为TCP/IP技术栈有一大部分都隐藏于操作系统的内核态,较少被接触。重点脉络:(1,反复记忆。2,多问为什么)一、TCP/IP协议体系的认知(1)分层。一部分处于用户态,一部分处于内核态。数据链路层,网络层,传输层封装于操作系统内核态。应用层存在于操作系统的用户空间,包括DNS,FTP,HTTPs,HTTP,工作中接触较多的是应用层的部分。但其它层的原理必须理解,面试考察。(2)层与层之间下层对上层是透明的,传输在
2020-10-09 23:24:02
530
原创 JAVA开发各种bug、踩坑记录
202009281. 反射相关bug描述:$$FastClassBySpringCGLIB$$ invoke()错误这个错误很难直接定位,实际问题通常是生成某种对象失败。解决:https://my.oschina.net/u/1000241/blog/19231882. mybatis使用bug描述:<if test="field='value'"></if>if判断不生效解决:field变量的类型是字符串型和字符型不匹配,需要转换,正确示
2020-09-28 18:00:43
4819
1
原创 mapper适配【从mysql到oracle】
mapper从mysql适配支持oracle的注意点:主要方面有:函数兼容、分页兼容、关键字兼容、空值兼容、自增兼容
2020-09-25 22:57:39
577
原创 springboot2.x整合kafka【详细】
一、中间件部署环境服务器系统版本:CentOS 7.3.1611zookeeper使用版本:zookeeper-3.4.14kafka使用版本:kafka_2.12-2.3.0版本选择依据kafka-zookeeper对应版本(最新可参考官网:http://kafka.apache.org/downloads):springboot-kafka客户端对应版本(https://spring.io/projects/spring-kafka):下载地址(多个镜像仓库可选):https:
2020-07-10 17:03:35
1911
原创 Java面试点 — 常量池(按版本区分)
文章目录一、JDK版本变化二、常量池类型字符串常量池(String Constant Pool)1. 字符串常量池在Java内存区域的哪个位置?2. 字符串常量池是什么?3. 字符串常量池里放的是什么?class常量池(Class Constant Pool)1. class常量池简介2. 什么是字面量和符号引用运行时常量池(Runtime Constant Pool)一、JDK版本变化Java6和6之前,常量池是存放在方法区(永久代)中的。Java7,将常量池是存放到了堆中。Java8之后,取消
2020-06-22 11:06:59
628
原创 Redis基本原理
一、简介Redis(Remote Dictionary Server):C 语言编写,高性能非关系型(NoSQL)的键值对数据库。键的类型只能为字符串,值支持五种数据类型:字符串、列表、集合、散列表、有序集合;数据存在内存中,读写速度快;应用于缓存、分布式锁、事务 、持久化,支持LUA脚本、LRU驱动事件、多种集群方案。二、Redis优缺点优点:1)读写快;2)支持数据持久化(AOF和RDB);3)支持事务,Redis操作是原子性的,同时还支持对几个操作合并后的原子性执行;4)数
2020-06-19 23:40:38
516
原创 Java — JDK和Spring涉及的设计模式
文章目录问题引入参考文章:面试必备:常用的设计模式总结讲讲Spring中都用到了那些设计模式?Spring中涉及的设计模式总结问题引入JDK 中涉及哪些设计模式?参考:JDK中设计模式Spring 框架中用到了哪些设计模式?工厂模式:BeanFactory就是简单工厂模式的体现,用来创建对象的实例;单例模式:Bean默认为单例模式。代理模式:Spring的AOP功能用到了JDK的动态代理和CGLIB字节码生成技术;模板方法:用来解决代码重复的问题。比如. RestTemplate,
2020-05-30 14:37:24
436
原创 Java高级知识 — IO、NIO、AIO
文章目录一、基础知识1.1 Java Socket1.2 Java IO二、BIO三、NIO四、AIO参考文章:Java面试常考的 BIO,NIO,AIO 总结参考书目:《Java NIO》《Netty网络编程》一、基础知识1.1 Java Socket参考:JAVA Socket详解1.2 Java IO二、BIO三、NIO四、AIO...
2020-05-21 18:17:02
991
AWS 学习SAA 认证学习资料 PDF
2024-01-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人