2402_85491806的博客

原创 MapReduce工作原理及基础编程

MapReduce 是一种用于处理和生成大规模数据集的编程模型。Map（映射）和Reduce（归并）。在 Map 阶段，数据被分成小块并并行处理，提取出中间的键值对结果；在 Reduce 阶段，框架会将所有具有相同键的数据聚合起来，由用户定义的逻辑进行归并处理，最终输出结果。可扩展性强、适合大数据分布式处理、编程模型简单，框架自动负责数据的调度与容错。通俗地说，它就像是一条流水线：先把原料（大数据）切碎并加工（Map），然后将相同类型的零件集中起来装配成品（Reduce）。

原创 Hadoop配置——两个节点（master和slave1）

注意：Hadoop（尤其是 3.x 及以下版本）不兼容 Java 9+ 的模块系统，如果之前安装了 Java …把主机名直接写入此文件（只能保留一个名字），定义本机的主机名（可能需要重启生效）主节点命名为master，子节点命名为slave1。列出所有的从节点（一个 hostname 一行）。上执行以下命令，把自己的公钥发给。一路回车即可（不要设置密码短语）。集群所有主机IP地址与对应主机名。安装Hadoop – 蛋蛋忧桑。格式：IP（空）主机名。

原创 vi常用操作

【代码】vi常用操作。

原创 Redis常用操作

做分隔符（区分层级），但这只是“命名规范”，实际存储并不是按照层级结构来实现的。Redis 的 key 可以用。SortedSet类型常见命令。List类型常见命令。

原创 NoSQL数据库的四大类型

NoSQL是的缩写，表示“不仅仅是 SQL”。它泛指一类非关系型数据库，与传统的关系型数据库（如 MySQL、PostgreSQL）不同，它们通常不使用固定的表结构（没有严格的“表、行、列”模型），而是采用更灵活的数据模型来存储数据。

原创 安装Hadoop

【代码】安装Hadoop。

原创 访问控制策略

模型控制基础权限分配方式粒度动态性上下文感知安全性灵活性常见场景/系统DAC用户（资源拥有者）手动分配中静态低低高Unix/Linux 文件系统、用户共享MAC系统策略/安全标签统一策略控制高静态中很高低SELinux、军事系统、政府保密系统RBAC用户角色基于角色分配中静态中高中企业权限管理、数据库、KubernetesTBAC当前执行任务任务自动授权高动态高高中工作流系统、临时任务授权、自动化系统OBAC对象自身策略。

原创 正向代理和反向代理

你（在国内）→ 配置代理服务器（比如 VPN）→ 去访问 Google → Google 返回内容 → 代理服务器转发给你。（其实是访问 CDN 或 Nginx）→ 代理判断请求 → 转发到后端服务器处理 → 返回内容。

原创 CentOS 安装 Redis

对于系统，如果你希望直接使用带有服务的 Redis 版本，可以选择使用或者。通常在 CentOS 上，安装后会自动配置 Redis 作为一个，你可以通过systemctl命令来管理它。经过实践，我推荐使用，这样更为方便简单，不会有多余的麻烦。在 CentOS 上，Redis 提供了预编译的 RPM 包，你可以通过yum安装它，并且安装后会自动创建一个 Redis 服务。

原创 算法设计与分析：要点总结-3

原创 算法设计与分析：要点总结-2

二分法是一种通过将问题的解空间不断对半分割，逐步缩小搜索范围的算法。通常用来解决有序数据的查找问题。二分法的典型例子是。

原创 算法设计与分析：要点总结-1

确定性:算法的每一步骤必须有明确的定义，无二义性。即在相同输入下，每次执行都应得到相同的结果。能行性:算法的每一步都必须是可实现的，即在有限时间内能用有限资源完成。输入：算法可以有零个或多个输入，输入是算法处理的初始数据。输出：算法必须有一个或多个输出，输出是算法处理的结果。有穷性/有限性：算法必须在执行有限步骤后终止，不能无限循环。O（大O符号，上界）f(n)=O(g(n)) 表示存在常数 c>0 和n0​，使得对所有n≥n0​，有fn)≤c⋅gn表示算法的最坏情况时间复杂度。

原创 三种 FreeRTOS 通信方式

消息队列用于在任务之间传递消息或数据。它可以存储多个数据项，常用于任务与任务、中断与任务之间的通信，适合需要“带数据”传递的情况。邮箱本质上是一种二值信号量，主要用于任务同步，不承载数据。它常被用作“任务启动信号”或“事件通知”，而非传输数据。任务通知是 FreeRTOS 中一种轻量级的任务间通信机制，每个任务有一个 32 位的“通知值”，可以在任务之间或中断中更新和读取。它支持传递一个整数值，效率高，是性能最优的通信方式。wp:table特性消息队列邮箱（信号量）任务通知是否传递数据。

原创 DNS与CDN的区别?

DNS（Domain Name System）是互联网的域名解析系统，它的作用是将人们易记的域名（如 www.example.com）转换为计算机可识别的 IP 地址，从而让用户通过域名访问网站。DNS 由多个分层服务器组成，包括根服务器、顶级域服务器和权威服务器，整个解析过程类似查电话号码的过程，是互联网通信的基础服务之一。/wp:image。

原创 端口被占用的问题——Hyper-V

wp:heading。

原创 Java中方法声明和类声明总结

wp:list方法声明包含多个可选和必需部分，如访问修饰符、泛型、返回类型、方法名等。类声明涉及类的继承、接口实现，以及类内部的方法和字段。继承（extends）和接口实现（implements）是影响类结构的关键字，决定了类的方法签名和行为。/wp:list。

原创 同步与异步？线程调度？

对于同步和异步来说，最简单的说法就是：同步会按部就班的执行代码，一句一句的执行代码，所以遇到耗时操作会直接出现程序卡住的情况；异步会在异步语句时把操作交给别人（线程池、回调、消息队列）去干。而异步和线程调度本质上并无关联，只是异步编程可能会用到线程调度（异步编程也可以用事件循环实现）。至于我们写的程序，如果说没有使用异步操作编写代码，程序卡住了就是真的卡住了，线程调度并不会自动帮我们管理哪些应该是异步操作需要处理。但是操作系统层级的线程调度会控制线程级别的调度和挂起。wp:list进程。

原创 防火墙工具引起的问题

之前的这一次问题可能就是由于我在Ubuntu上安装了firewall-cmd，然后使用firewall-cmd进行了端口配置，导致其他工具（ufw）的配置被覆盖了，22端口（SSH服务）也被关闭了，所以无法进行远程连接。对于云服务器来说，安全组和防火墙相当于双重保障，在使用时如果发现某一端口开放了但是无法使用，就要查看安全组和防火墙是否都开放了该端口。由于防火墙服务（ufw）没有开启，重启之后端口的相关配置没有被加载（22端口未开启），所以无法进行远程连接。），导致规则覆盖或不一致的行为。

原创 AES加密算法

实现AES的加密流程大部分不难，主要是比较繁琐，理清了思路就很好做了。其中最难处理的部分是列混淆，因为列混淆涉及到了有限域上的乘法运算。这部分内容在代码中的注释都比较详细，就不过多赘述。剩余的过程代码注释也都比较详细，不多说了。

原创 Vigenere 维吉尼亚加密算法

破解Vigenere算法最主要就是两个步骤——确定密钥长度和确定密钥内容，而这两个步骤实际上都是利用了英语字母的分布规律来破解的，一个是通过重合指数，一个是通过卡方检验。

原创 WSL2 Ubuntu ： MySQL 安装教程

到这里MySQL的基本安装步骤就完成了，后续的配置按照正常MySQL配置即可。使用你刚刚记住的用户名和密码登录MySQL，输入密码进入MySQL终端。记住用户名（user）和密码（password），等下登录要用。成功启用的输出示例，注意看Loaded和Active信息。可以使用以下命令检查是否成功启用。

原创 解决程序无法读取数据库插入的新数据

在两个守护程序运行的过程中，从数据库中读取csi数据进行处理的守护进程在数据库中有新数据的情况下无法读取到数据库的新数据。经过排查发现，新数据确实被接收csi数据的守护进程成功插入，但是读取csi数据的守护进程并没有从数据库中读取到新数据，因此排除了数据库的问题和接收csi数据的守护进程的问题，将目光放在读取csi数据的守护进程上。实际上 Spring 在底层都处理好了这些细节。有两个不同的守护进程，一个守护进程接收csi数据插入到数据库中，另一个守护进程从数据库中读取csi数据进行处理。

原创 解决跨域问题

跨域问题是指浏览器出于安全考虑，限制了从一个源（Origin）加载的网页脚本或资源与另一个源的资源进行交互的行为。这种限制是由浏览器的同源策略（Same-Origin Policy）引起的。“跨域”指的是浏览器尝试访问的资源与当前页面的源（Origin）不一致。源协议（Protocol）：如httphttps。域名（Domain）：如。端口（Port）：如80443（默认端口可以省略）。如果两个 URL 的协议、域名和端口完全相同，则它们是同源；否则就是跨源。

原创 从 Git 历史提交中删除文件

2. 运行命令删除example.txt文件提交记录，–path后跟文件路径，如“src/main/resources/1.txt”如果有 fork 仓库的话，除了让 fork 仓库的所有人删除仓库，否则就没办法了。如果有远程 git 仓库，请在操作前先同步所有分支，删除文件后再执行以下命令。1. 安装 git-filter-repo 工具。

原创 U2F相关疑问

虽然理论上攻击者可以伪造服务器名称，但在实际应用中，这种攻击的难度非常高，且需要绕过多层安全机制（如 HTTPS、SSL/TLS 证书、浏览器安全检查和 U2F 设备的验证）。因此，这种基于服务器名称的认证机制仍然是一种有效的反钓鱼手段。你提到的观点是正确的：如果攻击者成功伪造了amazon.com，生成的确实可以用于登录真实的amazon.com。然而，这种攻击的难度非常高，需要绕过 HTTPS、SSL/TLS 证书和 U2F 设备的验证机制。

原创 PIN 和密码的区别

PIN和密码的区别

原创 Lec02-人员身份验证

由于时间精力有限，目前只翻译部分内容。本文使用人工智能协助翻译，内容仅供参考，可能有错误或遗漏。如果你对内容或超链接有疑问，可以查看原文。参考资料地址：https://github.com/PKUFlyingPig/MIT6.1600。

原创 Java泛型-PECS原则

PECS 是 “Producer Extends, Consumer Super” 的缩写。换句话说，如果参数化类型表示一个生产者（只读）就使用<?extends T>，如果它表示一个消费者（只写）就使用<?super T>。这个原则在使用泛型限定通配符时非常有用，可以帮助我们决定何时使用 <?extends T> 和 <?super T>。extends T>和super T>是Java泛型中的“通配符（Wildcards）”和“边界（Bounds）”的概念。extends T>

原创 伪静态技术

伪静态（Pseudo-static）是一种通过 URL 重写技术，将动态 URL 转换为看起来像静态 URL 的技术。它的目的是让 URL 更加友好、易读，同时提升搜索引擎优化（SEO）效果。

原创 wordpress更改固定链接后网页出现404

不加重写规则时，服务器会按照默认行为尝试直接访问与URL路径对应的文件或目录。由于WordPress的固定链接不对应实际文件，因此会返回404错误。重写规则的作用是告诉服务器：“将所有不匹配实际文件或目录的请求交给。是 Apache 服务器的配置文件，而 Nginx 使用的是完全不同的配置方式。这正是WordPress处理固定链接的方式。” 这样，WordPress才能根据URL路径动态生成内容。文件，因此你需要手动在Nginx配置中添加重写规则。这段代码的核心是将所有不匹配实际文件的请求重写到。

原创 Lec01-什么是安全？

本课程的目的是向您介绍有关计算机系统安全的最重要的 “重要理念”。在整个课程中，我们将涉及计算机安全、密码学和（在一定程度上）计算机系统等领域的观点。安全是一个非常广泛的概念，但通常计算机安全的目标是确保某个计算机系统即使在面对试图破坏系统的“敌手”（或“攻击者”）时也能“正确运行”。info] Info在本课程中，我们将交替使用“敌手”和“攻击者”这两个术语。为了实现这一目标，我们需要某种系统性的计划。也就是说，我们必须仔细定义系统“正确运行”的含义，并指定我们希望防御的“敌手”类别。目标。

原创 Socket（套接字）通信原理

客户端的过程比较简单，创建 Socket，连接服务器，将 Socket 与远程主机连接（注意：只有 TCP 才有“连接”的概念，一些 Socket 比如 UDP、ICMP 和 ARP 没有“连接”的概念），发送数据，读取响应数据，直到数据交换完毕，关闭连接，结束 TCP 对话。QQ 视频聊天和语音聊天就使用 SOCK_DGRAM 来传输数据，因为首先要保证通信的效率，尽量减小延迟，而数据的正确性是次要的，即使丢失很小的一部分数据，视频和音频也可以正常解析，最多出现噪点或杂音，不会对通信质量有实质的影响。

原创 修改 Linux 终端命令行提示符颜色

PS（Prompt Sign）命令提示符，PS1是Linux终端用户的一个环境变量，用来定义命令行提示符的参数。在设定PS1环境变量时，需要用到预设的一些参数来设定PS1。但是，为了安全起见，我们将其注释掉，这样如果我们搞砸了，我们可以随时参考它。如果没有正常加载效果，则检查以下文件，确保它们没有覆盖。变量，该变量会为您的 Linux 终端提示符着色。然后，我们将通过添加以下行来创建一个新的。符号）并保存文件（如果该行存在）。然后，删除其前面的注释（

原创 “成绩计算器”项目心得

成绩计算器这个小项目一开始的功能特别简陋，并且我也没把它当成一个项目来做，本来只是写来方便计算我自己绩点的小工具。写完后我想着有几个好友也有计算绩点的需求，他们还是使用excel的模板来计算的，在我看来会有些不方便，所以就把这个打包出来分享给了他们。分享给他们后，有人给我提了一些修改建议，我想既然如此就把这个变成一个小小的项目吧，熟练一下我使用github的技能。

原创 Python小程序——GPA计算器

成绩计算器是一个用于计算加权平均分和加权学分绩的工具。它可以通过教务处获取的 JSON 格式数据生成表格，支持编辑表格信息、新增未来课程以预测分数。此外，程序还提供了操作说明、关于信息和打赏功能。

原创 Python计算器实现

【代码】Python计算器实现。

原创 线程调度相关讨论

在Python和Java中的作用完全不同，我们这里并没有明确指出我们讨论的是哪一个。当然了，依照问题提出的场景，我们可以确定这个问题更准确的版本是——在用Python写的爬虫中，如果我不使用。那对于发生IO操作/远程调用是否会自动进入阻塞状态这个问题来说，答案是只要你使用了线程，就会在该线程发生IO操作/远程调用时自动进入阻塞状态，也即会自动进行线程调度。由于这是一个比较复杂的问题，而且撰写这篇文章的时候也比较晚了（2024年10月11日星期五02:59），所以这部分是待补充状态。那就是在Python中。

原创 当AI成熟之后，老板会选择AI还是真人？

成本比AI还要低的工作行业里的顶尖工作需要与人类有情感共鸣的工作需要参杂人类道德判断的工作以及一些需要找到责任人的工作剩余一些没有单独罗列的AI无法承担的工作总结下来，老板会选择AI的情况就是AI能够胜任该工作并且当使用AI的费用会低于一个人类员工的情况。所以说，当AI成熟之后，老板会在大部分岗位都选择使用AI，然而仍会保留部分真人的岗位。