- 博客(45)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Hadoop 三种核心运行模式（伪分布式/分布式/混合模式）全总结
伪分布式 → 纯分布式：修改slaves移除localhost、保留，副本数≥2；slaves新增localhost，master 会自动启动 DataNode/NodeManager；所有模式切换前需停止集群 + 重新格式化NameNode（清空旧元数据）。
2026-03-13 19:53:04
637
1
原创 Hadoop 2.7.3 集群部署、配置与环境变量调优全流程总结
本文总结了基于master/slave1/slave2三节点的Hadoop集群部署过程。主要内容包括：1）基础环境配置，统一安装JDK和Hadoop，确保路径一致；2）核心配置文件同步与数据目录创建；3）环境变量调优，解决非交互式shell命令识别问题；4）集群启动验证，确保HDFS和YARN功能正常。部署过程中重点解决了路径一致性、环境变量加载和权限合规等关键问题，最终实现了三节点Hadoop分布式集群的全功能可用。该部署方案遵循了Hadoop集群的最佳实践，为后续分布式计算任务奠定了基础。
2026-03-13 17:50:51
498
1
原创 VirtualBox 搭建 Hadoop-2.7.3 集群完整安装总结
路径一致性：所有节点的 Java 路径、Hadoop 安装路径必须完全一致，否则配置同步后会报「文件/目录不存在」；权限问题：所有 Hadoop 相关文件/目录必须归属，否则启动/执行命令会报权限不足；用户一致性：master/slave 必须都创建hadoop用户，且操作 Hadoop 时必须切换到该用户（避免 root 启动导致权限混乱）；配置同步顺序：先给 slave 部署安装包 + 创建目录，再同步配置文件，否则 scp 会提示路径不存在；格式化仅一次。
2026-03-13 16:48:05
531
1
原创 集群节点时钟同步（NTP）配置手册
核心流程：所有节点装 NTP → master 配置服务端 → slave 手动同步+配置自动同步 → 验证时间一致性；关键注意：master 需确保 NTP 服务运行，slave 需配置主机名解析或使用 IP 同步；验证标准：所有节点date命令输出时间秒级一致，满足 HBase/Hadoop 集群时钟同步要求。
2026-03-12 20:04:23
229
原创 VirtualBox 集群环境下 MySQL 5.7 完整安装教程（master 服务端 + slave 客户端）
master节点核心：替换 yum 源 → 卸载冲突包 → 按安装 → 初始化+改密码 → 授权+放行端口；slave节点核心：从 master 拷贝包 → 卸载冲突包 → 按安装 → 远程登录验证；关键原则：MySQL 5.7 依赖顺序不可乱，密码必须满足复杂度，远程访问需放行 3306 端口；该教程适配 VirtualBox 下 CentOS 7 集群，可直接用于 Hadoop 集群对接 MySQL 的部署场景。
2026-03-12 19:44:23
249
原创 master 节点 Java 环境安装操作总结
master节点安装Java优先选择手动解压方式，规避yum的DNS解析问题，核心步骤为“创建目录→解压文件→配置环境变量→验证生效”；环境变量配置是关键，需确保JAVA_HOME路径与解压后的目录完全一致；OpenJDK 12和Oracle JDK 8安装流程一致，仅环境变量配置略有差异，可根据实际文件适配。
2026-03-12 17:01:47
213
原创 创建 slave1 节点并修改 IP/主机名 操作总结
创建 slave1 优先选「克隆 master」，可复用已配置的基础环境；IP 需设为仅主机网段的，与 master（110）区分；主机名通过永久修改，配置 hosts 实现节点间域名解析；关闭防火墙/SELinux 是集群互通的必要条件。
2026-03-12 16:34:38
276
原创 MobaXterm SSH 登录 master 节点操作总结
✅ SSH 登录成功<br>✅ 节点互通正常<br>✅ SFTP 文件传输正常。原因：master 主机名未永久修改，或会话未刷新。解决：在 MobaXterm 会话设置中，将。确认主机密钥 → 输入 master 的。验证连通性（能 ping 通即满足）。，左侧自动显示 SFTP 文件浏览器。✅ 登录成功标志：终端提示符变为。（master 仅主机 IP）（推荐，支持拖拽上传/下载）。无需密码，直接登录，提示符为。确认 master IP 为。master 仅主机IP。master 节点系统。
2026-03-12 16:22:48
222
原创 CentOS 7 集群 SSH 免密与主机名配置文档
本文档记录 master + slave1 双节点集群的主机名配置与SSH双向免密登录完整流程，用于实现节点间无密码访问与清晰的主机名标识。
2026-03-12 15:57:30
200
原创 CentOS 双网卡（NAT 模式+仅主机模式）配置文档
本文档用于记录 CentOS 7 虚拟机在 VirtualBox 环境下，的配置方案，实现「外网访问 + 宿主机互通」的稳定网络环境。检查 VirtualBox 网卡 2 是否为「仅主机模式」VirtualBox NAT 未正常工作。与宿主机本地互通（开发/调试专用）关闭虚拟机，进入「设置 → 网络」启用「网卡 1」，连接方式选择。启用「网卡 2」，连接方式选择。0% 丢包，延迟约 4ms。0% 丢包，延迟 <1ms。与宿主机以太网网卡互通正常。0% 丢包，延迟 <1ms。与宿主机仅主机网卡互通正常。
2026-03-12 15:11:04
233
原创 iBMC（Intelligent Baseboard Management Controller）实现带外管理
的关系，首先需要明确“带外管理”的核心定义，再结合 iBMC 的功能定位，就能清晰梳理二者的“从属”与“实现”逻辑——**iBMC 是华为服务器实现“带外管理”的核心硬件载体与软件系统，带外管理则是 iBMC 最核心的管理模式与价值体现**。- **独立网络**：提供 **BMC 专用管理网口**（通常标注“iBMC”或“Management”），与服务器的业务网口（用于业务数据传输）完全分离，避免管理操作占用业务带宽，也避免业务网络故障影响管理通道；支持固件（BIOS/CPLD）无感升级（不中断业务）。
2025-09-13 17:07:55
1158
原创 面向对象语言中的私有成员
面向对象语言中，私有成员是用于限制类内部数据和函数访问权限的机制，外部代码不能直接访问私有成员，只能通过类提供的公共接口来访问和操作。
2024-11-13 11:09:25
439
原创 二进制文件的读取方法
内存映射文件可以将文件映射到内存中，从而可以像访问内存一样访问文件，这对于大文件的随机访问非常有效。对于非常大的二进制文件，可以分块读取，以避免一次性将整个文件读入内存导致内存不足。
2024-11-06 10:00:07
1998
原创 二进制文件的写出方法
方法将数据框以 pickle 格式（二进制）保存到文件中。这里以二进制写入模式（'wb'）打开文件，然后使用。将两个整数打包成二进制数据，然后写入文件。如果要写入特定格式的二进制数据，可以使用。方法将字节数据写入文件。
2024-11-06 09:58:36
618
转载 图书情报学方法论
两个案例：建造楼房+扬州炒饭科学探究的七个环节是：提出问题、猜想与假设、制定计划与设计实验、进行实验与搜集数据、分析与论证、评估、交流与合作。
2023-10-16 22:31:49
922
原创 计算机网络课程实验：wireshark ARP协议
在同一个网络（无特别说明，均指以太网络）中进行通信的主机，必须要拥有目标主机的MAC地址才能够正确地将数据发送给目标主机，那么如何知道目标主机的MAC地址呢？可以通过ARP协议。ARP协议就是用来获取目标IP地址所对应的MAC地址的，也就是说，ARP协议可以动态地在三层IP地址和二层MAC地址之间建立一种映射关系。可以用如下示意图来形象表示其作用：可以看到上面的图示是把ARP协议划分到网络层，也既是认为它是一个网络层的协议，这是出于它为网络层的IP协议提供服务而考虑的。但实际上，由于ARP协议用以解
2021-07-27 12:02:14
1812
转载 链表中LinkList L与LinkList *L的区别
typedef struct Node{ int elem; struct node * next;}node,*LinkList; 对于LinkList L: L是指向定义的node结构体的指针,可以用->运算符来访问结构体成员,即L->elem,而(*L)就是个Node型的结构体了,可以用点运算符访问该结构体成员,即(*L).elem;对于L...
2018-12-14 22:17:16
2853
3
转载 指针的值、指针的指针、指针所指变量
在C语言中，指针是一个很重要的组成部分，其本质为某一段内存的起始地址。以如下代码进行举例说明：int a;//定义一个变量aint *p;//定义一个指针pint **q;p=&a; //将a的地址赋值给p,其类型为int *q=&p; //将指针q的地址赋值给q,其类型为int ***p==a;//*p代表指针p所指向的变量a，其类型为int1、 "指针p"这...
2018-12-14 22:14:56
2936
转载 数据结构中ElemType是什么意思
ElemType是数据结构的书上为了说明问题而用的一个词。它是element type（“元素的类型”）的简化体。 因为数据结构是讨论抽象的数据结构和算法的，一种结构中元素的类型不一定是整型、字符型、浮点型或者用户自定义类型，为了不重复说明，使用过程中用“elemtype”代表所有可能的数据类型，简单明了的概括了整体。在算法中，除特别说明外，规定ElemType的默认是int型。elem是单词...
2018-12-14 20:14:11
94810
9
原创 python 中的字符串转义序列、字符串格式化、操作符、算术运算符、比较运算符、逻辑运算符、位运算符、赋值运算符
1.字符串转义序列转义字符 描述\(在行尾时) 续行符\\ 反斜杠符号\' 单引号\" 双引号\a 响铃\b 退格(Backspace)\e 转义\000 空\n 换行\v 纵向制表符\t 横向制表符\r 回车\f 换页\oyy 八进制数yy代表的字符，例如：\o12代表换行\...
2018-11-19 21:04:51
684
转载 转载 python 常用数字转换函数
1.hex(x),oct(x),bin(x)//将整数分别转换为16.8,2进制2.int(x),float()//将其他数据类型转化为整型,浮点型3.int('x',y)将一个字符串数字转换位置整型，y标识字符串内数字的进制，效果等同于eval（''）4.除法 1/2 //真除法/传统除法 不考虑数据类型，返回浮点数 1...
2018-11-16 23:39:35
355
转载 轻或重的选择— 冥想平台Calm 募资｜房屋买卖平台Opendoor 募资
台北小有名气的健身房新创「Myfitness帮妳顾小孩健身房」最近宣布歇业。其创办人在脸书上分享失败教训，包括扩充太快、固定成本高以及与外包厂商的纠纷等。最终亏欠4千多万，靠抵押创办人父母的房子偿还。字字血泪，值得借镜。有些网路圈的朋友感叹「实体创业风险果然很高」。其实网路创业不一定成本低，真正的优点是软体可以快速修改，弹性较大；不像健身房需要土地、器材。今天就讨论一个「轻」资产与一个「重」资...
2018-11-08 21:47:54
637
原创 python：列表的内置方法，其中只有count()、index()可用
列表：可增删改元组：不能添加、删除或修改1、类型不可改变 2、可以对元组进行操作的操作符： 拼接操作符：+ 重复操作符：* 成员操作符：in/ not in 关系操作符：> < 逻辑操作符：and or 3、元组的创建和访问：逗号是关键，创建空元组可写成temp = ()，创建只有一个元素的元组可写成temp = (1,)或temp = 1,元组只有在...
2018-08-07 20:48:19
2736
原创 python：列表切片、排序、赋值、取值、推导式/解析
list=[1,2,3,4,5,6,7,8]list[::3]#返回结果为：[1,4,7]list[0:5:2]#返回结果为：[1, 3, 5]#list[::0]# 步长不能为0，要不就走不动了list[0:1]#返回含第一个元素的列表list[0]#返回第一个元素的值list.insert(0,list.pop())#将列表的最后一个元素取出放到第一个位置list...
2018-08-07 19:52:29
1118
原创 python：列表的标志符号是什么？
列表的标志符号是[]例如：menber=[a,b,c，1，2，3，"哈哈”]常用添加列表元素方法append() 将参数作为一个元素增加到列表的末尾 extend() 将参数作为一个列表去扩展列表的末尾 insert() 将参数插入列表的指定位置 member=["a","b","c",1,2,3,"哈哈"]member.append("attend...
2018-08-05 21:38:48
8669
原创 python：三色球问题、水仙花数、验证用户密码
三色球问题有红、黄、蓝三种颜色的球，其中红球 3 个，黄球 3 个，绿球 6 个。先将这 12 个球混合放在一个盒子中，从中任意摸出 8 个球，编程计算摸出球的各种颜色搭配。编写一个程序，求 100~999 之间的所有水仙花数。如果一个 3 位数等于其各位数字的立方和，则称这个数为水仙花数。例如：153 = 1^3 + 5^3 + 3^3，因此 153 就是一个水仙花数。设计一个...
2018-08-05 21:07:26
3465
原创 python：循环语句 while语句
python循环类型：python没有do...while循环 while循环 在给定条件下，满足条件时执行循环体，否则退出 for循环 重复执行循环体 嵌套循环 可以在while循环中嵌套for循环 循环控制语句：循环控制语句可以更改语句执行的顺序 break语句 在语句执行过程中终止循环，并且跳出整个循环 continue...
2018-08-04 14:56:56
3730
原创 python:条件语句
Python 条件语句Python条件语句是通过一条或多条语句的执行结果（True或者False）来决定执行的代码块。可以通过下图来简单了解条件语句的执行过程:Python程序语言指定任何非0和非空（null）值为true，0 或者 null为false。Python 编程中 if 语句用于控制程序的执行，基本形式为：if 判断条件： 执行语句...else:...
2018-08-01 21:31:11
847
原创 Jupyter notebook无法执行代码，显示In[*]：时怎么办？
可能是上面的执行框中出现错误，导致下面框中的代码也执行不了。点击Kernel中的Restart & Run all，执行全部代码。从上向下检查每一个框，找到错误代码修改。注意：如果下面已经运行出了执行结果，但是上面又修改了，并且出错了，那么重新执行的时候下面的执行结果还会保留，因为没有执行到这里来，程序在上面就已经出错退出了。...
2018-08-01 20:30:35
71656
9
原创 python：什么是BIF?字母大小写一样么？=与==一样么？缩进的作用是什么？
Python一共有68个BIF可以在Python的IDLE中，输入dir(__builtins__)可以看到Python提供的内置方法列表（注意，builtins前后是两个下划线）其中小写的就是BIF。如果想具体查看摸个BIF的功能，比如input()，可以在shell中输入help(input)，就可以得到这个BIF的功能描述。 在Python看来：‘aaa’和‘AAA’不一样‘...
2018-08-01 20:29:56
6937
原创 Python idle下载、安装与使用教程
简介：IDLE是Python软件包自带的一个集成开发环境，可以方便地创建、运行、调试Python程序。本文包括IDEL安装、使用配置、和运行调试教程。由于Google、YouTube等大型公司的推广，python编程语言越来越受欢迎，很多编程爱好者，也将Python做为了首先的编程语言。今天我们就来讲一下，学习的第一步，安装Python idle编辑器，也它的调试和使用。第一步，我们...
2018-07-30 20:49:09
220214
11
原创 python属于什么类型的语言
编译型和解释型 编译型和解释型各有利弊，随着设计技术与硬件不断发展，编译型与解释型两种方式的界限正在不断变得模糊。 类型 编译型：一次把所有代码转换为机器语言 解释型： 脚本语言 执行过程 编译器(Compiler)：一个负责翻译的程序来对我们的源代码进行转换，生成相对应的可执行代码 可执行代码：编译之后就会直接生成一个可执行文...
2018-07-30 20:24:54
32377
原创 对称密码、公钥密码、单向散列函数、消息认证码、数字签名
据一项调查显示，有80%的企业和个人担忧电子邮件沦为泄密管道，致使机密资料误入他人之手。这并不是空穴来风，就在今年6月份网上出现了一份41G数据文件，包含14亿的明文邮箱密码，其中不乏Gmail、Hotmail、Yahoo、Sina、qq等知名邮箱，还涉及不少公司邮箱、大学和科研机构邮箱，以及政府邮箱。据360互联网安全中心2017年发布的预警显示，电子邮件已成为网络安全的重灾区。邮件安全事...
2018-07-23 20:59:32
3864
原创 2018年全球邮件客户端市场份额及发展趋势
环境开放虽然手机仍然是最受欢迎的电子邮件阅读环境，但2017年它在网络邮件市场份额下降。在桌面客户端上打开的电子邮件份额几乎没有变化。移动打开苹果iPhone在2017年的市场份额下降了5个百分点，但仍然排名第一，其中28％的电子邮件是在iPhone上打开的。· iPhone：降至28％· iPad：降至11％· Android：下降到8％（包括Sams...
2018-05-17 16:32:14
17543
转载 Web service 云服务
一、Web service的概念想要理解Web service，必须先理解什么是Service（服务）。传统上，我们把计算机后台程序（Daemon）提供的功能，称为"服务"（service）。比如，让一个杀毒软件在后台运行，它会自动监控系统，那么这种自动监控就是一个"服务"。通俗地说，"服务"就是计算机可以提供的某一种功能。根据来源的不同，"服务"又可以分成两种：一种是"本地服务"（使用同一台机器...
2018-04-23 15:52:42
589
1
原创 Exchange ActiveSync (EAS)、CalDAV和CardDAV
ExchangeActiveSync(EAS)在手机和平板电脑上出色地完成电子邮件、联系人、日历和任务实时同步。ExchangeActiveSync的工作原理ExchangeActiveSync协议是移动设备或平板电脑与消息服务器之间使用的语言，可用于对预先定义的对象进行同步。通过EAS协议，设备就可以在空中与实施该协议的MicrosoftExchange、Outlook.com以及其他服务器同步...
2018-04-18 21:26:37
7785
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人