- 博客(175)
- 资源 (5)
- 收藏
- 关注
RSS订阅
原创 大数据环境搭建指南：基于 Docker 构建 Hadoop、Hive、HBase 等服务
本文介绍了在Windows11/WSL2环境下使用Docker和Docker Compose搭建大数据开发环境的完整流程。通过分步构建基础镜像和HBase/Hive/Spark镜像，配置ZooKeeper、PostgreSQL、HDFS等核心服务，并验证各服务运行状态。项目包含服务依赖管理、容器配置、初始化脚本以及Web UI访问验证，提供了一套完整的大数据开发环境搭建方案。特别说明了Spark客户端的配置方法和服务验证顺序，确保各组件协同工作。
2025-07-03 11:37:37
1469
2
原创 Elasticsearch官方文档学习-未完待续
本文是对Elasticsearch 8.6官方文档的学习笔记，主要内容包括： 基础知识：介绍了索引的基本概念，包括文档、元数据字段和映射数据类型，并通过示例说明了JSON文档的结构。 文档操作：重点讲解了批量创建/删除文档的Bulk API，包括基本语法、多种操作类型（index/delete/create/update）、错误处理、动态模板应用等。 高级特性：详细说明了批量操作中的乐观并发控制、版本控制、路由功能、等待活动分片设置以及刷新机制。 权限要求：列出了不同操作所需的权限，包括创建、索引、删除等操
2025-08-21 21:55:46
316
原创 使用docker compose 部署Elasticsearch 9.0.4集群 + kinaba
之前部署了单节点环境这里我们使用最新的镜像elasticsearch:9.0.4来部署下集群，目前自己学习中暂时没用logstash 就没有添加这个服务。
2025-07-31 16:53:45
501
原创 Elasticsearch服务器开发（第2版） - 读书笔记 第三章 搜索
查询分布到建立索引的所有分片上.如果他建立了5个分片和一个副本,那么查询的时候5个分片都会被查询(不需要同时查询分片和副本,因为包含的数据是相同的).每个查询只返回文档的标识符和得分,发送分散查询的节点将等待所有分片完成他们的任务, 收集结果并适当排序(这种情况下,按得分从低到高).除了可以控制查询是如何执行的,也可以控制在哪些分片上执行查询.默认情况下,Elasticsearch使用分片和副本.假如需要制定查询的目标分片,可以使用下面的值来指定.如果想返回所有存储的字段,使用 * 进行模糊匹配。
2025-07-30 10:02:29
890
原创 Elasticsearch服务器开发（第2版） - 读书笔记 第二章 索引
Elasticsearch索引是由一个或多个分片组成,每个分片包含了文档集的一部分.并且这些分片可以有副本.在创建索引的时候,可以规定应创建的分片和副本的数量. 默认使用的是全局配置文件(elasticsearch.yml)定义的默认值,或者是内部的默认值.一般情况下,同时具有分片和副本,在建立索引文档时,两者都需要进行修改.因为要使用分片得到精确的副本，Elasticsearch需要将分片的变更通知所有的副本。如果要读取文件，可以使用分片及其副本。
2025-07-30 09:59:41
897
原创 Elasticsearch服务器开发（第2版） - 读书笔记 第一章 Elasticsearch集群入门
本文摘要： Elasticsearch集群入门指南介绍了全文检索基础概念和Elasticsearch核心架构。主要内容包括：Lucene的倒排索引原理、文档分析过程（字符过滤、分词、标记过滤）、评分机制（TF/IDF）；Elasticsearch的数据结构（索引、文档、映射）和集群概念（节点、分片、副本）；索引建立与搜索流程，包括请求路由和分片查询机制；以及基本的文档操作示例。文章还简要提及了安装配置注意事项和目录结构说明，为初学者提供了Elasticsearch的全面基础认知。
2025-07-22 17:20:40
813
1
原创 白话介绍设计模式
本文介绍了设计模式的基本原理和创建型模式。设计原则包括面向接口编程、单一职责原则和开闭原则。创建型模式主要关注对象创建方式，包含简单工厂、工厂模式、抽象工厂和单例模式。简单工厂通过静态方法创建不同对象；工厂模式通过多个工厂类实现扩展；抽象工厂处理产品族的兼容性问题；单例模式确保类只有一个实例。文章通过代码示例详细说明了每种模式的实现方式，并分析了它们的优缺点，为开发者提供了对象创建的多种解决方案。
2025-07-06 16:59:42
960
原创 kafka扫盲-入门
Kafka入门指南摘要 Kafka是一款分布式消息引擎与流处理平台，广泛应用于企业消息总线、实时数据管道等场景。该指南从四个方面介绍Kafka：1）基础架构与术语，包括生产者、消费者、Broker等核心组件；2）高吞吐的消息发送机制，详解异步发送、批量处理和重试机制；3）高可用副本机制，阐述ISR集合和Unclean选举原理；4）集群控制器，说明基于Zookeeper的选举过程。文章还包含Kafka的分布式特性、持久化存储等优势分析，以及参数配置建议，为初学者提供了全面的入门知识。
2025-06-20 16:26:19
1036
原创 docker使用技巧之把扩展卷命名变成有意义
摘要：Docker容器与卷的命名关联问题及解决方案 当使用第三方Docker镜像时，常出现无法识别卷归属的问题。通过分析发现： 卷信息与容器存在对应关系（可通过查看容器详情确认） 解决方法是在docker-compose文件中明确定义卷名称和路径映射 修改后重新构建可得到有意义的卷名称 重要提示：使用docker compose down -v会清除外部卷，修改映射关系后慎用该命令 最终实现了卷与容器的清晰关联，便于管理
2025-06-19 15:22:30
318
原创 神奇的bug之docker compose启动mysql失败
文章摘要： 在使用Docker Compose配置MySQL 8.0服务时遇到容器启动失败问题。当使用卷名"hive-metastore-data"时出现MySQL系统表缺失错误（如mysql.plugin表不存在），而使用"hive_metastore_data"则正常。错误日志显示MySQL无法打开系统表，提示需要进行升级操作。该问题可能与卷名称中的连字符有关，导致MySQL初始化失败，建议避免在卷名中使用特殊字符或进一步检查Docker卷的权限设置。 （字数：1
2025-06-17 19:58:04
491
原创 docker compose部署kafka
摘要：本文介绍了使用Docker部署Kafka及相关组件的配置方法。通过wurstmeister/zookeeper、wurstmeister/kafka和provectuslabs/kafka-ui三个镜像搭建环境，其中Kafka仍依赖Zookeeper（已改名为kafka-zookeeper避免冲突）。重点说明了docker-compose.yml文件的关键配置，包括服务端口、环境变量设置（特别是KAFKA_ADVERTISED_LISTENERS使用容器名称）以及各组件间的依赖关系。Kafka UI服
2025-06-13 15:24:58
304
原创 docker compose搭建elk 8.6.2
本文介绍了使用Docker Compose搭建ELK(Elasticsearch, Logstash, Kibana)8.6.2环境的详细步骤。主要包括：创建docker-compose.yaml文件配置三个服务(Elasticsearch单节点模式、Kibana和Logstash)，挂载数据卷和配置文件确保数据持久化，设置自定义网络确保服务互通，以及启动后通过9200和5601端口访问验证服务。该方法简化了ELK环境的部署过程，适合开发测试使用。
2025-06-12 21:52:14
805
1
原创 ubuntu安装软件闪退，执行apt update提示无法更新404
最后发现有一种说法是，安装的ubuntu版本不是LTS长久支持版的，所以不能用了，坑。因为我的ubuntu是23.04版本的简称lunar，可以根据自己不同的版本进行替换。都不行，并且访问镜像源的地址是都可以浏览器访问的，奇了个怪。在下载好的deb包点击安装提示输入密码，输入完成后闪退。为http://mirrors.ustc.edu.cn/然后就开始找各种问题，切换镜像源，清华的，网易的。好在清华大学的镜像源里面有原来的，修改镜像源。
2025-05-31 00:17:00
251
原创 面试-【搜索引擎】
elasticsearch 7.x取消了typemapping类似于schema信息document代表一行数据field代表一个字段值。
2025-05-30 09:34:51
971
原创 软考-系统架构设计师-第二十二章 大数据架构设计理论与实践
因此 Kappa 架构本质上是通过改进 Lambda 架构中的加速层，使它既能够进行实时数据处理， 同时也有能力在业务逻辑更新的情况下重新处理以前处理过的历史数据。某网基于 Lambda 架构的广告平台，分为批处理层（Batch Layer）、加速层（Speed Layer）、服务层（Serving Layer），如图。因此，大数据的目的和价值就在于发现新的知识，Kappa 架构是在 Lambda 架构的基础上进行了优化，删除了 Batch Layer 的架构，将数据通道 以消息队列进行替代，如图。
2025-05-30 09:33:02
1003
原创 软考-系统架构设计师-第十九章 嵌入式系统架构设计理论与实践
（3）实时系统设计方法（Design Approach for Real -Time System，DARTS）。（2）属性驱动的软件设计方法（Attribute -Driven Design，ADD）。（1）随机存取存储器（Random Access Memory，RAM）。⑩同步动态随机存取存储器（SDRAM）；（2）只读存储器（Read Only Memory，ROM）。3）单调速率（Rate Monotonic Scheduling，RMS）调度算法：根据任务周期确定有限期，周期越短，优先级越高。
2025-05-30 09:32:51
693
原创 软考-系统架构设计师-第十八章 面向服务架构设计理论与实践
包括实现人（People）、流程（Process）和信息（Information） 集成的服务，以及执行这些集成逻辑的能力。（1）萌芽阶段：这种广泛使用的 XML，允许组织定义文档的元数据，实现企业内部和企业之间的电子数据交换，规定了服务之间以及服务内部数据交换的格式和结构。2）无状态服务的设计：SOA 系统架构中的具体服务应该都是独立的、自包含的请求，在实现这些服务的时候不需要前一个请求的状态，也就是说服务不应该依赖于其他。（1）业务逻辑服务（Business Logic Service）。
2025-05-30 09:32:28
915
原创 软考-系统架构设计师-第十七章 云原生架构设计理论与实践
XA 模式（传统采用 XA 模式）：由于 XA 规范是实现分布式事务处理的标准，通常采用两阶段提交（2 Prepare Commit，2PC）的方法，具有很强的一致性，（4）存储计算分离模式：分布式环境中的 CAP 困难主要是针对有状态应用，由于一致性（Consistency，C），可用性（Availability，A），分区容错性。（5）分布式事务模式。（1）庞大的单体应用：缺乏依赖隔离，代码耦合，责任和模块边界不清晰，模块间接口缺乏治理，变更影响扩散，不同模块间的开发进度和发布时间要求难以协调，
2025-05-29 18:30:26
687
原创 软考-系统架构设计师-第十六章 层次式架构设计理论与实践
工作流管理联盟（Workflow Management Coalition，WFMC）将工作流定义为：业务流程的全部或部分自动化，在此过程中，文档、信息或任务按照一定的过程。每个模块设计一个业务逻辑组件，并且每个业务逻辑组件以多个数据访问对象（Data Access Object，DAO）组件作为基础，从而实现对外提供系统的业务逻辑服务。（4）离线数据模式：离线数据模式是以数据为中心，数据从数据源获取之后，将按照某种预定义的结构存放在系统中，成为应用的中心。对类和类之间关系的正确识别是数据模型的关键所在。
2025-05-29 18:28:23
1251
原创 软考-系统架构设计师-第十五章 信息系统架构设计理论与实践
通常信息化包括了 7 个平台：知识管理平台、日常办公平台、信息集成平台、信息发布平台、 协同工作平台、公文流转平台、企业通信平台。自定义实现的协议，RPC 协议，CORBA/IIOP 协议，Java RMI 协议，J2EE JMS 协议，HTTP 协议。TOGAF 的组件有架构开发方法、架构开发方法指南和技术、架构内容框架、企业连续序列和工具、架构框架参考模型、架构能力框架。2）多层 B/S：是指三层以上的结构，形式是 Web 浏览器+Web 服务器+中间件/应用层+数据库。
2025-05-29 18:25:32
868
2
原创 软考-系统架构设计师-第十章 软件架构的演化和维护
演化的重要性保障软件系统具备诸多好的特性有效管控软件系统的整体复杂性和变化性，降低软件检修和修改成本保证软件系统演化的一致性和正确性，增加便捷性。演化和定义的关系软件架构包括组件、连接件和约束三大要素，此软件架构演化蛀牙关注组件、连接件和约束的添加修改和删除。
2025-05-29 17:49:18
561
原创 软考-系统架构设计师-第十一章 软件可靠性基础知识
降低复杂度的设计思想是在保障实现软件功能的基础上，简化软件结构、缩短程序代码长度、优化软件数据流向、降低软件复杂度、提高软件可靠性。软件可靠性的定量描述：是软件在软件使用条件、在规定时间内、系统的输入/输出、系统使用等变量构成的数学表达式。测试记录包含： 测试时间、含有测试用例的测试说明或标识、所有与测试有关的测试结果，包括失效数据、测试人员。测试报告包含：如那件产品标识、测试环境配置、测试依据、测试结果、测试问题、测试时间。软件可靠性设计技术有：容错设计技术、检错技术、降低复杂度设计、系统配置技术。
2025-05-29 17:47:19
556
原创 软考-系统架构设计师-第十章 系统质量属性和架构评估
（3）成本效益分析法（Cost Benefit Analysis Method， CBAM） 分为整理场景-> 对场景进行求精 -> 确定场景的优先级-> 分配效用->架构策略涉及哪些质量属性及响应级别 -> 使用内插法确定“期望的”质量属性响应级别的效用-> 计算各架构策略的总收益 ->（3）基于度量的分析方法: 建立质量属性和度量之间的映射原则-> 软件文档中获取度量信息 -> 分析推导系统质量属性。（2）基于场景的评估：应用在架构权衡分析法（ATAM）和软件架构分析方法（SAAM）中。
2025-05-29 17:44:18
1227
原创 软考-系统架构设计师-第九章 系统架构设计基础知识
基于体系结构（架构）的软件设计（Architecture-Based Software Design， ABSD）方法是体系结构驱动的，即指构成体系结构的商业、质量和功能需求。（2）黑板体系结构风格：是一种问题求解模型，是组织推理步骤、控制状态数据和问题求解之领域知识的概念框架。ABSD是自顶向下、递归细化的，迭代的每一步都有清晰的定义，有助于降低体系结构设计的随意性。传统的软件开发模型效率低、ABSDM模型把整个基于体系结构的软件开发过程分为体系结构的需求、设计、文档化、复审、实现和演化六个子过程。
2025-05-29 17:41:53
1241
原创 软考-系统架构设计师-第八章 数据库设计基础知识
主从复制： 好处做数据的热备。在Mysql数据库中，主从数据库同步的模式有全同步、半同步、异步三种。数据库一般采用三级模式，体系结构如下图，系统开发人员需要通过视图层、逻辑层和物理层上个层次上的抽象来降低用户屏蔽系统的复杂性，简化用户与。数据库系统子三级模式之间提供了两级映像：概念模式/内模式映像、外模式/概念模式映像。数据模型三要素：数据结构、数据操作、数据的约束条件。其中数据的约束条件包括：实体完整性、参照完整性、用户自定义完整性。从数据库管理系统的角度，数据库也分为外模式、概念模式和内模式。
2025-05-29 17:35:15
860
原创 软考-系统架构设计师-第七章 软件工程基础知识
（4）软件能力成熟度模型集成（Capability Maturity Model Integration for Software，CMMI）提供了一个软件能力成熟度的框架，它将软件过程改进。（2）软件过程模型。软件要经历从需求分析、软件设计、软件开发、运行维护，直至被淘汰这样的全过程，这个全过程就是软件的生命周期。进行分析和设计建模，并且强调将正确性验证（而不是测试）作为发现和消除错误的主要机制，可以生成质量非常高的软件。的步骤组织成5个成熟度等级： 初始级、已管理级、已定义级、量化管理级、优化级。
2025-05-29 17:31:31
769
原创 软考-系统架构设计师-第六章 系统工程基础知识
小型基准程序和合成基准程序。（5）WSR系统方法。（1）评价计算机的主要性能指标有时钟频率（主频）、运算速度、运算精度、数据处理速率（Processing Data Rate，PDR）、吞吐率等。（4）评价操作系统的性能指标有系统上下文切换、系统响应时间、系统吞吐率（量）、系统资源利用率、可靠性和可移植性。（2）评价路由器的主要性能指标有设备吞吐量、端口吞吐量、全双工线速转发能力、路由表能力、背板能力、（3）评价网络的性能指标有设备级性能指标、网络级性能指标、应用级性能指标、用户级性能指标和吞吐量。
2025-05-29 17:28:01
769
原创 软考-系统架构设计师-第五章 信息安全基础知识
（4）高级加密标准（Advanced Encryption Standard，AES），分组长度 128 位，支持 128 位、 192 位和 256 位 3 种密钥长度，用于替换脆弱的。（1）使用密钥加密的块算法（Data Encryption Standard，DES），明文切分为 64 位的块（即分组），由 56 位的密钥控制变换成 64。（2）三重 DES（Triple-DES）是 DES 的改进算法，使用两把 56 位的密钥对明文做三次 DES 加解密，密钥长度为 112 位。
2025-05-29 17:26:38
554
原创 软考-系统架构设计师-第四章 信息系统基础知识
信息系统定义信息系统的功能有：输入、存储、处理、输出和控制。信息系统的发展道路划分为初始、传播、控制、集成、数据管理和成熟 6 个阶段。信息系统的分类信息系统分为业务（数据）处理系统、管理信息系统、决策支持系统、专家系统、办公自动化系统、综合性信息系统等 6 类。信息系统的生命周期信息系统的生命周期分为产生、开发、运行和消亡 4 个阶段。信息系统建设原则信息系统建设原则可以分为高层管理人员介入原则、用户参与开发原则、自顶向下规划原则、 工程化原则等。信息系统的开发方法。
2025-05-29 17:24:33
925
原创 软考-系统架构设计师-第三章计算机网络基础知识
（3）边界网关协议（Border Gateway Protocol，BGP）：Internet 的网络规模庞大，网络情况复杂， EGP 已不适用，在 EGP 的经验之上制定了新的网关协议即。路由功能由路由器（Router）来提供，包括异种网络互连、子网协议转换、数据路由、速率适配、隔离网络、报文分片和重组、备份和流量控制。（1）局域网（LAN）。（3）核心层：网络主干部分称为核心层，核心层的主要目的在于通过高速转发通信，提供优化、可靠的骨干传输结构，因此，核心层交换机应拥有更高的可靠性、
2025-05-29 17:22:04
625
原创 软考-系统架构设计师-第二章 嵌入式基础知识
（1）微处理器（Microprocessor Unit，MPU）：微处理器+专门设计的电路板，集成度低、可靠性高，主要有：Am186/88、386EX、SC-400、PowerPC、68000、2）静态随机存取存储器（Static RAM，SRAM），采用多个晶体管自锁的方式保存状态，优点 是访问速度快、不需要刷新，缺点是集成度低、容量小、成本高。1）动态随机存取存储器（Dynamic RAM，DRAM），采用电容存储信息，优点是集成度高、 容量大、成本低，缺点是访问速度较慢、需要定期刷新。
2025-05-29 17:19:24
1107
原创 软考-系统架构设计师-第一章 架构设计基础
冯·诺依曼计算机结构冯·诺依曼计算机结构将计算机硬件划分为运算器、控制器、存储器、输入设备、输出设备5 个部分。典型的处理器系统专用处理器图形处理器（Graphics Processing Unit，GPU）、信号处理器（Digital Signal Processor，DSP）以及现场可编程逻辑门阵列（Field Programmable Gate Array，FPGA）等。DSP 专用于实时的数字信号处理，常采用哈佛体系结构。指令集系统。
2025-05-29 17:16:36
774
原创 方案设计-如何设计一个支持10万QPS的会员系统
会员系统是一种基础系统，跟公司所有业务线的下单主流程密切相关。如果会员系统出故障，会导致用户无法下单，影响范围是全公司所有业务线。所以，会员系统必须保证的基础服务。随着同程和艺龙两家公司的合并，越来越多的系统需要打通同程 APP、艺龙 APP、同程微信小程序、艺龙微信小程序等多平台会员体系。例如微信小程序的交叉营销，用户买了一张火车票，此时想给他发酒店红包，这就需要查询该用户的统一会员关系。因为火车票用的是同程会员体系，酒店用的是艺龙会员体系，只有查到对应的艺龙会员卡号后，才能将红包挂载到该会员账号。
2024-09-09 21:41:24
1461
原创 方案设计-系统的QPS突然提升怎么考虑设计？
其实可以看到，怎么设计高并发系统这个问题本身他是不难的，无非是基于你知道的知识点，从物理硬件层面到软件的架构、代码层面的优化，使用什么中间件来不断提高系统的抗压能力。
2024-09-09 20:16:31
1226
原创 方案设计-如何设计一个秒杀系统
热点分为热点操作和热点数据。所谓“热点操作”，例如大量的刷新页面、大量的添加购物车、双十一零点大量的下单等都属于此类操作。对系统来说，这些操作可以抽象为“读请求”和“写请求”，这两种热点请求的处理方式大相径庭，读请求的优化空间要大一些，而写请求的瓶颈一般都在存储层，优化的思路就是根据 CAP 理论做平衡，这个内容我在“减库存”一文再详细介绍。而“热点数据”比较好理解，那就是用户的热点请求对应的数据。而热点数据又分为“静态热点数据”和“动态热点数据”。所谓“静态热点数据”，就是能够提前预测的热点数据。
2024-09-09 00:09:36
1964
Cisco实验1-配置Cisco交换机
2019-01-31
ehcache-1.1.jar
2017-09-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人