- 博客(26)
- 收藏
- 关注
RSS订阅原创 git和gitee在idea中的使用
3.在idea的plunge中下在gitee。2.注册一个gitee且创建一个项目。commit提交到本地仓库。push推送到云端仓库。
2025-02-28 17:31:06
335
原创 zookeeper
echo ---------- zookeeper $i 停止 ------------echo ---------- zookeeper $i 状态 ------------echo ---------- zookeeper $i 启动 ------------找到zookeeper/conf下对zoo_sample.cfg改名（ps:因为系统不会认）1）在hadoop102的/home/wyr/bin目录下创建脚本。修改vi /etc/profile.d/my_env.sh。2）增加脚本执行权限。
2025-02-28 17:14:33
542
原创 Maven的下载与idea配置
Maven 是一个强大的项目管理和构建工具，主要用于 Java 项目。它基于文件来管理项目的依赖、构建、文档生成等任务。依赖管理：自动下载和管理项目所需的第三方库。项目构建：通过简单的命令（如）完成编译、测试、打包等操作。标准化项目结构：Maven 定义了标准的项目目录结构，便于团队协作。插件机制：支持丰富的插件，扩展构建功能。Maven 通过中央仓库（Maven Central）存储了大量的开源库，开发者只需在配置文件中声明依赖，Maven 就会自动下载并。
2025-02-27 11:10:09
1051
原创 Java基础
内容来自b站【黑马程序员Java零基础视频教程_上部(Java入门，含斯坦福大学练习题+力扣算法题和大厂java面试题）】 https://www.bilibili.com/video/BV17F411T7Ao/?javac对（.java）文件进行编译结果为（.class）文件。java对（.class）文件进行运行返回输出的结果。就把软件的路径配置到环境变量中，类型设置快捷方式。为了在任意的目录下都可以打开指定的软件。java.exe与java.exe。注意版本问题下载了解相应版本。
2025-01-13 16:51:45
156
1
原创 大数据环境搭建进度
1.使用虚拟机的系统：centos7.xLinux2.资源不足，使用云服务器：1.3.使用远程登录进行操作用xshell4.任务1.虚拟机装好2.设置IP地址3.可以联网4.设置远程登录访问5.创建module和software目录，修改两个目录的权限6.克隆两台虚拟机，修改每台主机的hosts文件7.安装jdk，设置jdk环境变量让环境变量生效[hadoop@hadoop103[hadoop@hadoop1048.设置免密登录。
2025-01-12 23:48:16
1134
1
原创 HDFS 的API的操作
在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”，在文件中填入。log4j.rootLogger=INFO, stdout //什么级别的日志，在控制台打印输出。1）拷贝hadoop-3.1.X到非中文路径（比如d:\）。-- 添加一个操作hadoop的依赖包-->//设置dfs不需要权限。//获取hdfs文件系统。-- 单元测试 -->-- 日志包 -->解决在hdfs.site.xml。
2025-01-10 16:17:31
966
1
原创 hdfs与mapreduce
1）HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。2）HDFS定义HDFS），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS的使用场景：适合一次写入，多次读出的场景。
2025-01-08 14:00:28
777
原创 集群时间同步
当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步。（3）修改hadoop102的/etc/sysconfig/ntpd 文件。（b）修改2（集群在局域网中，不使用其他互联网上的时间）网段上的所有机器可以从这台机器上查询和同步时间）（2）在其他机器配置1分钟与时间服务器同步一次。增加内容如下（让硬件时间与系统时间一起同步）（4）1分钟后查看机器是否与时间服务器同步。（a）修改1（授权192.168.（5）设置ntpd服务开机启动。（3）修改任意机器时间。
2025-01-08 10:52:55
669
原创 3.1配置历史服务器
为了查看历史的情况1.修改mapreduce 然后分发重启sbin/start-dfs.sh sbin/stop-dfs.sh启动历史服务器日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。 日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryServer。开启日志聚集功能具体步骤如下：vi yarn-site.xml hdfs dfs -rm -
2025-01-07 16:21:42
896
原创 hadoop环境搭建
vmware161.1创建虚拟机向导选择典型“下一步“安装镜像文件磁盘大小设置30gb开启虚拟机选择第一个install centos1）设置时间2）选择磁盘3）打开虚拟网卡设置root用户密码123456创建hadoop用户密码hadoop。
2025-01-05 21:32:41
297
原创 Hadoop概述
简称HDFS，是一个分布式文件系统。简称YARN，另一种资源协调者，是Hadoop的资源管理器。MapReduce将计算过程分为两个阶段：Map和Reduce1）Map阶段并行处理输入数据2）Reduce阶段对Map结果进行汇总。
2025-01-05 15:18:01
774
原创 Java异常总结
指Java程序运行时可能出现的错误或非正常情况Java.lang包下的Throwable类是所有异常的父类用来处理特殊的异常package 异常处理;class ByException extends Exception{ //自定义异常必须继承Exception或其子类//自动继承Exception 的无参构造// super();//调用Exception无参构造的方法//调用Exception有参构造的方法if(y<0){
2024-01-04 21:13:25
390
1
原创 Python编程题基础
数学领域著名的“哥德巴赫猜想”的大致意思是：任何一个大于2的偶数总能表示为两个素数之和。给定M行N列的整数矩阵A，如果A的非边界元素A[i][j]大于相邻的上下左右4个元素，那么就称元素A[i][j]是矩阵的局部极大值。在一行中按照格式“N = p + q”输出N的素数分解，其中p ≤ q均为素数。又因为这样的分解不唯一（例如24还可以分解为7+17），要求必须输出所有解中p最小的解。最后M行，每行给出A在该行的N个元素的值。在一行中输入列表，输出列表元素的和。在一行中输出列表元素的和。
2023-12-19 15:20:01
450
1
原创 Python考试题库基础
在这里描述函数接口。例如： CountDigit(number,digit ),返回digit出现的次数在这里描述函数接口。例如： fib(n),返回fib(n)的值 PrintFN(m,n)，用列表返回[m, n]中的所有Fibonacci数。函数接口: funcos(eps,x),返回cos(x)的值。phrase是短语参数，返回短语的缩写词在这里描述函数接口。例如：Avg(lst)lst是一个二维嵌套列表，该函数返回值是每个元素的平均值组成的列表。
2023-12-19 14:58:09
2375
1
原创 Java ------内部类
通过外部类访问静态内部类成员时，可以通过外部类直接创建一个静态内部类对象。在实际开发中，根据内部类的位置、修饰符和定义方式的不同，内部类可分为成员内部类、 局部内部类、静态内部类、匿名内部类。外部类名.内部类名 内部类对象=外部类对象.new 内部类名();一个类可以定义成员变量、成员方法和还可以定义类就是成员内部类，格式如下：外部类名.静态内部类名 变量名=new 外部类名.静态内部类名();（测试类）想通过外部类要访问内部类，则要创建内部类对象。在Java中，允许在一个类的内部定义类，这就叫。
2023-12-03 23:48:35
375
1
原创 Java类与接口、多态-------小新养宠物
super();调用父类的构造方法 定义接口类型用的少不是很理解，还需要往后面学在来看多练多看多写多想。
2023-12-02 21:25:37
1872
原创 PTA设计一个银行业务类（Java）
有五组从键盘输入语句，方法可以用void直接打印输出 也可以用返回值输出（有无返回值不太懂）输出的时候如何多行打印时最后一行粘贴的有回车enter，还没有结束可以输出一行取款金额为double类型时需要format格式化输出。
2023-12-01 15:25:20
2703
1
原创 windows10多虚拟桌面快速设置
SylphyHorn是一款微软商店自带的设置桌面的软件（免费）所以电脑很多软件可以使用，解决问题，使电脑越来越强大。
2023-07-13 22:26:32
156
1
数据科学与大数据专业应该怎么学
2025-01-12
pta Python九九乘法表为什么这个用Python输出的九九乘法表pta报错
2023-12-07
TA创建的收藏夹 TA关注的收藏夹
TA关注的人