- 博客(16)
- 收藏
- 关注
RSS订阅原创 【数据库】第三章 SQL
本文系统介绍了SQL语言的核心功能与应用。SQL作为关系数据库标准语言，包含数据定义(DDL)、查询(DQL)、更新(DML)和控制(DCL)四大功能模块。重点阐述了索引优化策略（如聚簇/非聚簇索引）、复杂查询方法（连接/嵌套/集合查询）以及视图的创建与管理。同时详解了数据更新操作和权限控制机制，包括用户授权、角色管理等安全措施。文章通过实例说明各类SQL语句的语法规范和使用场景，强调视图在简化查询、数据安全和逻辑独立性方面的重要作用，为数据库操作提供了全面的技术指导。
2026-08-18 20:37:44
173
原创 【分布式】第五章 Yarn
YARN是Hadoop资源管理系统，启动后可用jps查看，8088端口提供Web监控界面。YARN采用主从架构，核心组件包括ResourceManager（负责全局资源调度）、NodeManager（节点资源管理）、Container（资源抽象单元）和ApplicationMaster（应用任务管理）。默认使用CapacityScheduler调度器，支持FIFO、公平调度等策略，其中公平调度器按队列动态分配资源，确保任务公平共享集群资源。系统通过多队列机制实现资源隔离，优化集群吞吐量和利用率。
2026-06-16 11:50:29
260
原创 【分布式】第四章 MapReduce
MapReduce作为Hadoop的核心分布式计算框架，支持PB级数据离线计算，通过并行计算实现PB级数据的高效处理。其编程模型分为Mapper、Reducer和Driver三阶段，用户只需编写业务逻辑即可自动分布式执行。该技术具备易编程性、高扩展性和容错性，依赖数据分区、Combiner优化和Shuffle机制等关键技术提升性能，并通过YARN实现资源调度。典型应用场景包括WordCount词频统计和结构化数据分析，通过调整数据切片大小和Reduce任务数可优化性能。局限性体现在不支持实时流处理。
2026-06-16 11:41:18
345
原创 【分布式】第三章 HDFS
HDFS是一种用于存储大规模数据的分布式文件管理系统，具有高容错性、高吞吐量等特点。其核心架构包括NameNode、DataNode和Secondary NameNode。HDFS适合一次写入、多次读取的场景，但不适合低延迟访问或频繁修改。文件以块（默认128MB）形式存储，通过多副本机制确保数据可靠性。HDFS提供了丰富的Shell操作命令和Java API客户端，支持文件上传、下载、删除等操作。数据读写流程涉及客户端、NameNode和DataNode的协同工作，采用机架感知策略优化数据分布。
2026-06-13 09:42:28
297
原创 【计算机网络】第六章 应用层
文章系统介绍了计算机网络应用层的基本概念和主要协议。重点讲解了域名系统DNS的层次结构、域名服务器工作原理和解析过程。详细阐述了万维网WWW的URL构成、HTTP协议及文档类型，以及电子邮件系统的SMTP/POP3协议工作流程。此外，还涵盖了FTP文件传输、TELNET远程登录、DHCP动态主机配置等应用层协议，并分析了P2P文件共享的分发机制。在安全方面，介绍了对称密钥和公开密钥密码体制的原理。最后讨论了互联网音视频服务的实时传输协议RTP及其在流媒体中的应用特点。
2026-05-31 20:26:32
335
原创 【计算机网络】第五章 传输层
传输层在网络通信中承担着复用分用、进程间通信和流量控制等核心功能。文章系统介绍了传输层协议体系，重点分析了TCP和UDP两大基础协议：UDP提供无连接服务，通过端口实现多路分用；TCP则通过滑动窗口、确认重传等机制确保可靠传输。此外，还探讨了新型协议如SCTP、DCCP和QUIC的特性与应用场景。在TCP细节方面，详细解析了报文格式、连接管理、拥塞控制等关键技术。文章通过对比不同协议的实现机制，完整呈现了传输层如何协调应用进程通信与网络资源管理的关系，为理解网络通信体系提供了重要视角。
2026-05-16 17:57:25
621
原创 【计算机网络】第四章 网络层
网络层的主要任务就是将分组从源主机传送到目的主机， 可以将该任务细分为网络层的两种重要的功能:分组转发，路由选择路由选择决定分组转发的路径路由选择的结果就是生成供分组转发使用的转发表路由选择可以是集中式的，也可以是分布式的分布式自动路由选择要求在每台路由器上运行路由选择协议数据平面和控制平面分组转发直接作用于传输的数据，属于数据平面路由选择是用来控制路由器的转发决策，属于控制平面互联网的IP层提供的是一种尽最大努力交付的数据报服务。
2026-05-04 16:19:42
707
原创 【分布式】第二章 Hadoop3安装部署
本文详细介绍了基于Docker搭建Hadoop分布式集群的完整流程。主要内容包括：1）使用Docker加载镜像并启动多个容器，配置网络参数；2）配置Java环境和Hadoop安装，包括解压安装包、设置环境变量；3）配置SSH免密登录实现节点间通信；4）修改Hadoop核心配置文件，设置NameNode、DataNode等角色；5）启动HDFS和YARN服务，并通过Web界面验证集群状态；6）测试文件上传和WordCount示例程序运行。为搭建Hadoop集群提供了完整的操作指南。
2026-04-12 16:51:38
624
原创 【计算机网络】第三章 数据链路层
文章系统介绍了数据链路层的核心概念与技术。首先阐述了数据链路层的两种信道类型（点对点信道和广播信道）及其特点，重点讲解了数据链路的三个基本问题：封装成帧、透明传输（含字节填充和零比特填充法）和差错控制（CRC校验原理）。随后详细分析了PPP协议的特点、帧格式和工作状态，以及局域网的数据链路层架构，包括MAC地址机制和CSMA/CD协议。最后探讨了以太网的演进过程，涵盖物理层扩展、数据链路层扩展（网桥与交换机）以及虚拟局域网技术。全文完整呈现了数据链路层的关键技术体系。
2026-04-08 16:18:28
549
原创 【数据库】第二章 关系数据库
本文系统介绍了关系数据库的基本理论，包括关系模型的三要素：数据结构（表结构及关系性质）、操作（集合式检索与更新操作）和完整性约束。重点阐述了关系代数运算（选择、投影、连接、除）和关系演算（元组/域演算）两类查询语言，以及查询优化策略（尽早选择/投影、连接替代笛卡尔积等）。最后定义了关系系统的判定标准，强调必须支持基本关系运算和数据结构。全文构建了关系数据库从理论基础到实现优化的完整知识体系。
2026-03-30 19:47:02
622
原创 【计算机网络】第二章 物理层
本章首先讨论物理层的基本概念。然后介绍有关数据通信的重要概念，以及各种传输媒体的主要特点，但传输媒体本身并不属于物理层的范围。在讨论几种常用的信道复用技术后，对数字传输系统进行简单介绍。最后再讨论几种常用的宽带接入技术。 本章最重要的内容是: (1)物理层的任务。 (2)几种常用的信道复用技术。 (3)几种常用的宽带接入技术，重点是FTTx。
2026-03-25 22:03:08
621
原创 【计算机网络】第一章 概述
计算机网络已成为信息时代的核心基础设施，主要包括电信网、有线电视网和互联网三类。互联网通过TCP/IP协议实现计算机间的互连与资源共享，其发展经历了从ARPANET到多级ISP结构的演进过程。网络采用分组交换技术，通过路由器实现高效数据传输。性能指标包括速率、带宽、吞吐量和时延等，体系结构采用分层模型（物理层、数据链路层、网络层、传输层和应用层），各层协议协同工作实现网络通信功能。
2026-03-18 09:02:27
654
原创 【分布式】第一章 初识Hadoop
本文系统介绍了大数据技术的基础概念和发展历程。从数据存储单位(b、B、KB到YB)入手，阐述了大数据的4V特征(多样化、结构化等)及核心问题(海量数据存储与计算)。重点解析了Google三大核心技术(GFS、MapReduce、BigTable)及其开源实现Hadoop生态体系，包括HDFS、YARN、MapReduce等组件的架构原理。文章还对比了Hadoop1.0与2.0的区别，总结了Hadoop高可靠、高扩展等技术优势，并概述了Hadoop生态圈各组件功能及其适用场景。
2026-03-16 11:04:45
776
原创 【数据库】第一章 绪论
数据库技术是计算机科学的核心分支，发展迅速且应用广泛，已成为信息系统的重要技术支柱。本章介绍了数据库的基本概念、发展背景、系统特点及数据模型要素，重点阐述了关系数据模型、数据库系统三级模式结构以及实体-联系方法。学习目标包括掌握数据库相关基础概念、理解数据管理技术演变，并为后续学习奠定扎实理论基础。
2026-03-12 11:01:43
770
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人