- 博客(189)
- 资源 (5)
- 收藏
- 关注
RSS订阅
原创 大数据环境搭建指南：基于 Docker 构建 Hadoop、Hive、HBase 等服务
本文介绍了在Windows11/WSL2环境下使用Docker和Docker Compose搭建大数据开发环境的完整流程。通过分步构建基础镜像和HBase/Hive/Spark镜像，配置ZooKeeper、PostgreSQL、HDFS等核心服务，并验证各服务运行状态。项目包含服务依赖管理、容器配置、初始化脚本以及Web UI访问验证，提供了一套完整的大数据开发环境搭建方案。特别说明了Spark客户端的配置方法和服务验证顺序，确保各组件协同工作。
2025-07-03 11:37:37
2331
5
原创 mac m4电脑运行 LLaMA Factory 微调
之前使用的是 window直接运行的 docker镜像，直接运行，后来在mac m4电脑上运行的时候，发现docker 镜像一个是不兼容，另外一个是m4 苹果芯片不能简单实用gpu进行训练。ok，启动完成 enjoy it。因此考虑本地启动项目进行训练。环境 mac m4 air。
2025-09-23 21:18:31
430
原创 Django入门-4.编写一个简单的表单
编辑内容如下</</</</</</</</</</</valuechoicePOSTchoice=#ChoiceactionforPOSTURLPOST我们为投票应用创建了一个 URLconf ，编辑的vote，内容如下ChoiceIDPOSTchoicePOSTKeyErrorKeyErrorchoiceQuestionChoiceURLPythonPOSTDjango在这个例子中，我们在的构造函数中使用reverse()函数。这个函数避免了我们在视图函数中硬编码URL。
2025-09-22 21:46:45
945
原创 Django入门-3.公共视图
视图 是具有 一类具有相同功能和模板的网页的集合，网页和其他内容都是从视图派生而来。每个视图是一个python函数。一般情况下URL形式：为了将 URL 和视图关联起来，Django 使用了 ‘URLconfs’ 来配置。URLconf 将 URL 模式映射到视图。其实就是类似于web项目里面的Controller里面的一个方法【一个GetMapping或者RequestMapping类似】
2025-09-22 21:44:20
820
原创 Django入门-2.数据库基本操作
添加方法保存之后重新进入shell查询展示题目信息根据字段过滤以什么开头时间转年进行过滤获取不存在的，会异常异常信息如下...调用自定义方法查询习题关联的选项添加选项查询选项关联的习题c.question查询习题所有选项查询选项数量关联查询过滤删除选项c.delete()更多方法多个模型之间的关系关联对象参考双下划线方法数据库相关文档。
2025-09-16 17:17:26
780
原创 小企业环境-网络环境相关
这样相对一条访问链路就基本打通了整体公网IP > 绑定 负载均衡 > 后端服务器组 绑定网关 > 网关分发各种路由服务第一次接触还是要有几天的时间去琢磨这个东西，但是只要上面的思路清晰了，到对应节点去配置对应的内容即可如果是测试环境数据库需要反问，绑定数据库网卡即可，特殊的应用服务绑定主机代码部署可以看流水线相关的说明。
2025-09-03 17:55:19
330
原创 微调大模型并部署服务提供外部调用
本文介绍了基于LLama-Factory框架使用LoRA算法微调Deepseek大模型，并通过FastAPI提供HTTP接口的完整流程。文章首先对比了SFT、RLHF和RAG三种模型优化方法的特点与适用场景，重点阐述了LoRA微调算法的低秩分解原理和计算优势。随后详细说明了使用Docker Compose部署LLaMA-Factory的环境搭建步骤，包括配置镜像源、GPU支持和数据卷挂载等关键配置。最后展示了微调操作界面和数据集添加方法，为开发者提供了从理论到实践的完整技术方案。
2025-08-29 11:29:13
1140
原创 docker compose小技巧
进行容器部署的时候默认文件夹是项目的所在文件夹。文件里面添加配置达到自己定义文件夹名称的目的。在同一目录下，重新部署启动即可。
2025-08-26 15:26:39
158
原创 Deepseek + RAGFlow 搭建本地知识库问答系统
本文介绍了基于Deepseek和RAGFlow搭建本地知识库问答系统的方案。本地部署能保障数据隐私、解除文件大小限制并简化操作管理。RAG技术通过检索外部知识库增强生成效果，相比微调更灵活。部署流程包括：1)通过Ollama下载运行Deepseek模型；2)使用Docker部署RAGFlow；3)在RAGFlow中创建知识库并绑定本地模型。最后通过上传文件、创建助理即可实现基于个性化知识库的智能问答。该系统整合了本地模型与RAG技术，兼具安全性和实用性。
2025-08-25 18:17:42
1063
原创 Elasticsearch官方文档学习-未完待续
本文是对Elasticsearch 8.6官方文档的学习笔记，主要内容包括： 基础知识：介绍了索引的基本概念，包括文档、元数据字段和映射数据类型，并通过示例说明了JSON文档的结构。 文档操作：重点讲解了批量创建/删除文档的Bulk API，包括基本语法、多种操作类型（index/delete/create/update）、错误处理、动态模板应用等。 高级特性：详细说明了批量操作中的乐观并发控制、版本控制、路由功能、等待活动分片设置以及刷新机制。 权限要求：列出了不同操作所需的权限，包括创建、索引、删除等操
2025-08-21 21:55:46
968
原创 使用docker compose 部署Elasticsearch 9.0.4集群 + kinaba
之前部署了单节点环境这里我们使用最新的镜像elasticsearch:9.0.4来部署下集群，目前自己学习中暂时没用logstash 就没有添加这个服务。
2025-07-31 16:53:45
641
原创 Elasticsearch服务器开发（第2版） - 读书笔记 第三章 搜索
查询分布到建立索引的所有分片上.如果他建立了5个分片和一个副本,那么查询的时候5个分片都会被查询(不需要同时查询分片和副本,因为包含的数据是相同的).每个查询只返回文档的标识符和得分,发送分散查询的节点将等待所有分片完成他们的任务, 收集结果并适当排序(这种情况下,按得分从低到高).除了可以控制查询是如何执行的,也可以控制在哪些分片上执行查询.默认情况下,Elasticsearch使用分片和副本.假如需要制定查询的目标分片,可以使用下面的值来指定.如果想返回所有存储的字段,使用 * 进行模糊匹配。
2025-07-30 10:02:29
977
原创 Elasticsearch服务器开发（第2版） - 读书笔记 第二章 索引
Elasticsearch索引是由一个或多个分片组成,每个分片包含了文档集的一部分.并且这些分片可以有副本.在创建索引的时候,可以规定应创建的分片和副本的数量. 默认使用的是全局配置文件(elasticsearch.yml)定义的默认值,或者是内部的默认值.一般情况下,同时具有分片和副本,在建立索引文档时,两者都需要进行修改.因为要使用分片得到精确的副本，Elasticsearch需要将分片的变更通知所有的副本。如果要读取文件，可以使用分片及其副本。
2025-07-30 09:59:41
962
原创 Elasticsearch服务器开发（第2版） - 读书笔记 第一章 Elasticsearch集群入门
本文摘要： Elasticsearch集群入门指南介绍了全文检索基础概念和Elasticsearch核心架构。主要内容包括：Lucene的倒排索引原理、文档分析过程（字符过滤、分词、标记过滤）、评分机制（TF/IDF）；Elasticsearch的数据结构（索引、文档、映射）和集群概念（节点、分片、副本）；索引建立与搜索流程，包括请求路由和分片查询机制；以及基本的文档操作示例。文章还简要提及了安装配置注意事项和目录结构说明，为初学者提供了Elasticsearch的全面基础认知。
2025-07-22 17:20:40
919
1
原创 白话介绍设计模式
本文介绍了设计模式的基本原理和创建型模式。设计原则包括面向接口编程、单一职责原则和开闭原则。创建型模式主要关注对象创建方式，包含简单工厂、工厂模式、抽象工厂和单例模式。简单工厂通过静态方法创建不同对象；工厂模式通过多个工厂类实现扩展；抽象工厂处理产品族的兼容性问题；单例模式确保类只有一个实例。文章通过代码示例详细说明了每种模式的实现方式，并分析了它们的优缺点，为开发者提供了对象创建的多种解决方案。
2025-07-06 16:59:42
1000
原创 kafka扫盲-入门
Kafka入门指南摘要 Kafka是一款分布式消息引擎与流处理平台，广泛应用于企业消息总线、实时数据管道等场景。该指南从四个方面介绍Kafka：1）基础架构与术语，包括生产者、消费者、Broker等核心组件；2）高吞吐的消息发送机制，详解异步发送、批量处理和重试机制；3）高可用副本机制，阐述ISR集合和Unclean选举原理；4）集群控制器，说明基于Zookeeper的选举过程。文章还包含Kafka的分布式特性、持久化存储等优势分析，以及参数配置建议，为初学者提供了全面的入门知识。
2025-06-20 16:26:19
1167
原创 docker使用技巧之把扩展卷命名变成有意义
摘要：Docker容器与卷的命名关联问题及解决方案 当使用第三方Docker镜像时，常出现无法识别卷归属的问题。通过分析发现： 卷信息与容器存在对应关系（可通过查看容器详情确认） 解决方法是在docker-compose文件中明确定义卷名称和路径映射 修改后重新构建可得到有意义的卷名称 重要提示：使用docker compose down -v会清除外部卷，修改映射关系后慎用该命令 最终实现了卷与容器的清晰关联，便于管理
2025-06-19 15:22:30
337
原创 神奇的bug之docker compose启动mysql失败
文章摘要： 在使用Docker Compose配置MySQL 8.0服务时遇到容器启动失败问题。当使用卷名"hive-metastore-data"时出现MySQL系统表缺失错误（如mysql.plugin表不存在），而使用"hive_metastore_data"则正常。错误日志显示MySQL无法打开系统表，提示需要进行升级操作。该问题可能与卷名称中的连字符有关，导致MySQL初始化失败，建议避免在卷名中使用特殊字符或进一步检查Docker卷的权限设置。 （字数：1
2025-06-17 19:58:04
570
原创 docker compose部署kafka
摘要：本文介绍了使用Docker部署Kafka及相关组件的配置方法。通过wurstmeister/zookeeper、wurstmeister/kafka和provectuslabs/kafka-ui三个镜像搭建环境，其中Kafka仍依赖Zookeeper（已改名为kafka-zookeeper避免冲突）。重点说明了docker-compose.yml文件的关键配置，包括服务端口、环境变量设置（特别是KAFKA_ADVERTISED_LISTENERS使用容器名称）以及各组件间的依赖关系。Kafka UI服
2025-06-13 15:24:58
336
原创 docker compose搭建elk 8.6.2
本文介绍了使用Docker Compose搭建ELK(Elasticsearch, Logstash, Kibana)8.6.2环境的详细步骤。主要包括：创建docker-compose.yaml文件配置三个服务(Elasticsearch单节点模式、Kibana和Logstash)，挂载数据卷和配置文件确保数据持久化，设置自定义网络确保服务互通，以及启动后通过9200和5601端口访问验证服务。该方法简化了ELK环境的部署过程，适合开发测试使用。
2025-06-12 21:52:14
847
1
原创 ubuntu安装软件闪退，执行apt update提示无法更新404
最后发现有一种说法是，安装的ubuntu版本不是LTS长久支持版的，所以不能用了，坑。因为我的ubuntu是23.04版本的简称lunar，可以根据自己不同的版本进行替换。都不行，并且访问镜像源的地址是都可以浏览器访问的，奇了个怪。在下载好的deb包点击安装提示输入密码，输入完成后闪退。为http://mirrors.ustc.edu.cn/然后就开始找各种问题，切换镜像源，清华的，网易的。好在清华大学的镜像源里面有原来的，修改镜像源。
2025-05-31 00:17:00
403
原创 面试-【搜索引擎】
elasticsearch 7.x取消了typemapping类似于schema信息document代表一行数据field代表一个字段值。
2025-05-30 09:34:51
1023
原创 软考-系统架构设计师-第二十二章 大数据架构设计理论与实践
因此 Kappa 架构本质上是通过改进 Lambda 架构中的加速层，使它既能够进行实时数据处理， 同时也有能力在业务逻辑更新的情况下重新处理以前处理过的历史数据。某网基于 Lambda 架构的广告平台，分为批处理层（Batch Layer）、加速层（Speed Layer）、服务层（Serving Layer），如图。因此，大数据的目的和价值就在于发现新的知识，Kappa 架构是在 Lambda 架构的基础上进行了优化，删除了 Batch Layer 的架构，将数据通道 以消息队列进行替代，如图。
2025-05-30 09:33:02
1063
原创 软考-系统架构设计师-第十九章 嵌入式系统架构设计理论与实践
（3）实时系统设计方法（Design Approach for Real -Time System，DARTS）。（2）属性驱动的软件设计方法（Attribute -Driven Design，ADD）。（1）随机存取存储器（Random Access Memory，RAM）。⑩同步动态随机存取存储器（SDRAM）；（2）只读存储器（Read Only Memory，ROM）。3）单调速率（Rate Monotonic Scheduling，RMS）调度算法：根据任务周期确定有限期，周期越短，优先级越高。
2025-05-30 09:32:51
737
原创 软考-系统架构设计师-第十八章 面向服务架构设计理论与实践
包括实现人（People）、流程（Process）和信息（Information） 集成的服务，以及执行这些集成逻辑的能力。（1）萌芽阶段：这种广泛使用的 XML，允许组织定义文档的元数据，实现企业内部和企业之间的电子数据交换，规定了服务之间以及服务内部数据交换的格式和结构。2）无状态服务的设计：SOA 系统架构中的具体服务应该都是独立的、自包含的请求，在实现这些服务的时候不需要前一个请求的状态，也就是说服务不应该依赖于其他。（1）业务逻辑服务（Business Logic Service）。
2025-05-30 09:32:28
985
原创 软考-系统架构设计师-第十七章 云原生架构设计理论与实践
XA 模式（传统采用 XA 模式）：由于 XA 规范是实现分布式事务处理的标准，通常采用两阶段提交（2 Prepare Commit，2PC）的方法，具有很强的一致性，（4）存储计算分离模式：分布式环境中的 CAP 困难主要是针对有状态应用，由于一致性（Consistency，C），可用性（Availability，A），分区容错性。（5）分布式事务模式。（1）庞大的单体应用：缺乏依赖隔离，代码耦合，责任和模块边界不清晰，模块间接口缺乏治理，变更影响扩散，不同模块间的开发进度和发布时间要求难以协调，
2025-05-29 18:30:26
793
原创 软考-系统架构设计师-第十六章 层次式架构设计理论与实践
工作流管理联盟（Workflow Management Coalition，WFMC）将工作流定义为：业务流程的全部或部分自动化，在此过程中，文档、信息或任务按照一定的过程。每个模块设计一个业务逻辑组件，并且每个业务逻辑组件以多个数据访问对象（Data Access Object，DAO）组件作为基础，从而实现对外提供系统的业务逻辑服务。（4）离线数据模式：离线数据模式是以数据为中心，数据从数据源获取之后，将按照某种预定义的结构存放在系统中，成为应用的中心。对类和类之间关系的正确识别是数据模型的关键所在。
2025-05-29 18:28:23
1328
原创 软考-系统架构设计师-第十五章 信息系统架构设计理论与实践
通常信息化包括了 7 个平台：知识管理平台、日常办公平台、信息集成平台、信息发布平台、 协同工作平台、公文流转平台、企业通信平台。自定义实现的协议，RPC 协议，CORBA/IIOP 协议，Java RMI 协议，J2EE JMS 协议，HTTP 协议。TOGAF 的组件有架构开发方法、架构开发方法指南和技术、架构内容框架、企业连续序列和工具、架构框架参考模型、架构能力框架。2）多层 B/S：是指三层以上的结构，形式是 Web 浏览器+Web 服务器+中间件/应用层+数据库。
2025-05-29 18:25:32
1009
2
原创 软考-系统架构设计师-第十章 软件架构的演化和维护
演化的重要性保障软件系统具备诸多好的特性有效管控软件系统的整体复杂性和变化性，降低软件检修和修改成本保证软件系统演化的一致性和正确性，增加便捷性。演化和定义的关系软件架构包括组件、连接件和约束三大要素，此软件架构演化蛀牙关注组件、连接件和约束的添加修改和删除。
2025-05-29 17:49:18
598
原创 软考-系统架构设计师-第十一章 软件可靠性基础知识
降低复杂度的设计思想是在保障实现软件功能的基础上，简化软件结构、缩短程序代码长度、优化软件数据流向、降低软件复杂度、提高软件可靠性。软件可靠性的定量描述：是软件在软件使用条件、在规定时间内、系统的输入/输出、系统使用等变量构成的数学表达式。测试记录包含： 测试时间、含有测试用例的测试说明或标识、所有与测试有关的测试结果，包括失效数据、测试人员。测试报告包含：如那件产品标识、测试环境配置、测试依据、测试结果、测试问题、测试时间。软件可靠性设计技术有：容错设计技术、检错技术、降低复杂度设计、系统配置技术。
2025-05-29 17:47:19
624
原创 软考-系统架构设计师-第十章 系统质量属性和架构评估
（3）成本效益分析法（Cost Benefit Analysis Method， CBAM） 分为整理场景-> 对场景进行求精 -> 确定场景的优先级-> 分配效用->架构策略涉及哪些质量属性及响应级别 -> 使用内插法确定“期望的”质量属性响应级别的效用-> 计算各架构策略的总收益 ->（3）基于度量的分析方法: 建立质量属性和度量之间的映射原则-> 软件文档中获取度量信息 -> 分析推导系统质量属性。（2）基于场景的评估：应用在架构权衡分析法（ATAM）和软件架构分析方法（SAAM）中。
2025-05-29 17:44:18
1401
Cisco实验1-配置Cisco交换机
2019-01-31
ehcache-1.1.jar
2017-09-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人