Allwordhuier的博客

原创 【Linux学习】十六、权限管理

默认情况下，文件/目录的所有者为创建该文件/目录的用户，或文件/目录被创建时指定的用户，但是，通过chown命令可以修改文件/目录的所有者。【案例3】切回root用户，使用数值表示法为/root目录修改所属用户和所属组有读和执行权限，其他用户没有权限。【案例4】使用数值表示法为/root/abc.txt文件修改所属用户有读写权限，所属组和其他用户没有权限。【案例5】将/root目录修改所属主、所属组及其他用户拥有读写执行权限，并递归处理。【案例2】对abc.txt给其他用户添加root目录的写执行权限。

原创 【Linux学习】十五、Linux/CentOS 7 用户和组管理

与 cat /etc/passwd 不同的是，getent passwd 命令可以从不仅限于 /etc/passwd 文件中，还包括其他用户数据库（如 NIS、LDAP 等）中获取用户信息。这些用户是系统中的一般用户，具有交互式登录权限，并且可以根据需要创建、管理和使用文件。服务用户通常没有登录权限，它们的作用是限制服务进程的权限，以增加系统的安全性。与服务用户类似，系统用户的目的是限制其操作范围，提高系统的安全性和稳定性。显示当前登录系统的用户信息，包括用户名、终端、登录时间、运行的命令等。

原创 【Linux学习】十二、vim编辑器练习

1.在/tmp目录下建立一个名为mytest的目录，进入mytest目录(1)进入/tmp目录cd /tmp（2）创建mytest目录mkdir mytest（3）查看是否创建成功ls 或 ls -l（4）进入mytest目录cd mytest2.将/etc/man_db.conf 复制到上述新创建的目录下，使用vim打开该文件（1）将/etc/man_db.conf 复制到/tmp/mytestcp /etc/man_db.conf .(2)使用vim打开该文件

原创 【Linux学习】十一、vim编辑器

所有的Linux系统都会内建vi文本编辑器。Vim具有程序编辑的能力，可以看做是vi的增强版本，可以主动的以字体颜色辨别语法的正确性，方便程序设计。代码补完、编译及错误跳转等方便编程的功能特别丰富，在程序员中被广泛使用。

原创 【Linux学习】十、查看文件内容命令

n:显示行号。

原创 【Linux学习】九、文件操作命令（cp mv rm touch）

f:删除文件或目录时不提示用户（有：是否要删除；没有：没有这个文件）-i：删除文件或目录的时候会提示用户（默认）rm - rf 目录。

原创 【Linux学习】八、centos7目录的相关操作命令（ls cd pwd mkdir rmdir）

在linux系统中，用.代表当前目录，用…代表当前目录的父目录，用~代表root用户登录时的主目录。

原创 【Linux学习】七、NetworkManager服务

【代码】【Linux学习】七、NetworkManager服务。

原创 【Linux学习】六、MobaXterm远程连接vmware中的虚拟机

查看网卡的配置信息ifconfig其中，inet为当前虚拟机的ip地址，netmask为当前虚拟机的子网掩码也可以通过ip addr 查看IP地址ip addr。

原创 【Linux学习】五、静态IP地址的配置

分配ip地址的模式是DHCP（动态地分配IP地址和其他相关的网络配置参数）ctrl+c可以停止退出。

原创 【Linux学习】四、Vmware中虚拟机无法连接网络的情况及解决方案

网络连接的开关未打开。

原创 【Linux学习】三、防火墙相关操作

inactive (dead)–>表示防火墙已经关闭。

原创 【Linux学习】二、Vmware中虚拟机的创建

原创 【无标题】

开关未打开。

原创 【Linux学习】一、vmware的安装与卸载

将vmware工具添加到系统PATH中。

原创 Hadoop开发之JavaAPI操作HDFS

在D:\hadoop\maven\apache-maven-3.6.1\conf下用记事本打开settings.xml文件。在pom文件中点击鼠标右键，选择Maven选项----》重新加载项目，点开maven菜单，会看到所需依赖已成功导入。解压到没有中文的路径下，例如我的路径是：D:\hadoop\maven中。在maven文件夹下创建一个名为repo的文件夹，作为本地仓库文件夹。对应的version标签的内容要根据实际的hadoop版本进行调整。点击此电脑—属性—高级系统设置—环境变量。

原创 数据的插入、修改和删除

（1）当字段设置了自增约束时，系统会根据记录的顺序自动生成对应的编号（id）；（2）当字段设置了默认约束时，插入数据的时候，该字段没有赋值，系统会将该字段的值）设置成对应的默认值；（3）当字段没有设置默认值约束和自增约束时，插入数据的时候，该字段没有赋值，系统会将该字段的值设置成null；（4）当字段设置了非空约束时，插入数据的时候，必须给该字段赋值。

原创 数据表的基本操作---创建表、修改表、删除表、查看表

数据库中表的基本操作，包括创建表、修改表、删除表和查看表

原创 Hadoop3.1.4完全分布式集群搭建

在Centos7中直接使用root用户执行hostnamectl命令修改，重启（reboot）后永久生效。要求：三台主机的名字分别为：master slave1 slave2。

原创 Windows系统下mycli的安装

使用Mycli连接Mysql数据库的方法很简单，和Mysql 命令启动基本相同。

原创 数据库基本操作---创建、删除、使用

在MySQL中，数据库可以分为系统数据库和用户数据库两大类。

原创 Mysql8.3.0的安装（保姆级）

由于初始化产生的随机密码太复杂，不便于我们登录mysql，因此，我们应当修改一个自己能记住的密码： alter user ‘root’@‘localhost’ identified by ‘1234’;使用mysql -u root -p进行登录。修改成功后，下次登录就可以用简单密码了。例如：我的路径是在F:\mysql下。下载好压缩包后，对该压缩包进行解压。输入quit即可退出MySQL。输入刚才随机产生的密码。

原创 Java基础---switch语句

default的位置可以随便放，但是它的执行顺序不会变一定是在表达式的值和所有case后面的值都匹配不上的时候才会执行default中的语句体。不会因为default的放置顺序而发生改变【案例】System . out . println("请输入月份：");case 12 : case 1 : case 2 : System . out . println(month + "月是冬天");break;

原创 spark读取mysql中数据并进行数据分析案例---mysql经典50题

spark处理mysql经典50题

原创 zookeeper集群部署

bigdata1、bigdata2 和 bigdata3 三个节点上部署Zookeeper。修改其他两台的myid： 路径：cd /opt/module/zookeeper-3.5.7/zkData/myid235.配置zoo.cfg文件（/opt/module/zookeeper-3.5.7/conf）环境变量：（三台全部配）

原创 idea运行出现：命令行过长。 通过 JAR 清单或通过类路径文件缩短命令 错误

出现图片中的问题如何来解决了？1.点击编辑配置2.点击修改选项3.点击缩短命令行4.选择JAR清单5.点击确定，重新运行程序即可

原创 linux配置环境变量操作失误，导致找不到命令

在执行命令source /etc/profile时，报错，后发现ls，vim等一些基本命令失效。安装完jdk后，配置了错误的环境变量，并执行了“source /etc/profile”命令。/usr/libexec/grepconf.sh:行5: grep: 未找到命令。

原创 【JavaSE基础二】Java程序设计第一个案例HelloWorld

项目场景：这是Java程序设计的第一个案例问题描述：我们希望在控制台输出 I love Java！class HelloWorld { public static void main(String[] args) { System.out.println(" I love Java！"); }} 程序解释：A:Java程序的最基本单位是类，所以我们要定义一个类。格式：class 类名举例：class HelloWorldB:在类中写内容的时候，用大括号括起来。C:Ja

原创 【JavaSE基础一】Java环境变量的配置

此文章主要详细介绍了Java环境变量的配置步骤文章目录一、JDK的下载二、JDK的安装三、环境变量的配置四、java运行环境的验证一、JDK的下载以下为jdk的下载链接：[https://www.oracle.com/java/technologies/downloads/#java8-windows]接下来可以打开自己的系统设置面板查看电脑的系统位数。操作步骤：此电脑—》右键选择属性，就可以看到自己电脑的操作系统为64位或32位。然后打开刚才的下载链接网址，选择对应符合自己系统的安装包

原创 Spark抽取mysql中的数据到Hive中

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录思路一、案例介绍二、具体步骤1.编写scala程序完成从mysql讲数据导出成csv文件2.打包成jar包提交到集群上3.将hdfs上的这个文件下载到本地目录下4.将本地数据文件的数据加载到hive中总结思路spark抽取mysql中的数据到hive中，可通过以下2步完成：1.先将mysql中的数据抽取到存放再hdfs上的一个文件（.csv,.txt）2.再讲文件通过load命令加载到hive中下面用具体案例演示一.

原创 ZooKeeper3.5.9分布式集群部署

一、Zookeeper安装包的下载安装1.下载zookeeper安装包三级目录

原创 SparkRDD的行动操作

和转化操作类似，所有简单 RDD 支持的行动操作在键值对 RDD 上也是管用的，同时它还有一些更加编辑的行动操作。countByKey()对每个键对应的元素分别计数。在 spark-shell 中输入如下代码：截图如下：0llookup()返回给定键对应的所有值。在 spark-shell 中输入如下代码：截图如下：collectAsMap()将结果以映射表的形式返回，方便查询。在 spark-shell 中输入如下代码：截...

原创 SparkRDD转换操作

1.reduceByKey(func)合并具有相同键的值。在 spark-shell 中输入如下代码：截图如下：2.groupByKey()对具有相同键的值进行分组。在 spark-shell 中输入如下代码：截图如下：3.mapValues(func)对键值对 RDD 的每个值应用一个函数而不改变对应的键。在 spark-shell 中输入如下代码：截图如下：flatMapValues(func)对键值对 RDD 中...

原创 Flume案例1-arvo

案例1：AvroAvro可以通过client发送一个指定的文件给Flume，flume可以通过设置source的接受方式，监控avro发送数据的ip和端口，获取数据。Avro Source可以定制avro-client发送一个指定的文件给Flume agent，Avro源使用Avro RPC机制，Flume主要的RPC Source也是 Avro Source，它使用Netty-Avro inter-process的通信（IPC）协议来通信，因此可以用java或JVM语言发送数据到Avro Source

原创 Flume的安装

一、下载flume并解压1、手动下载 flume安装包下载地址下载flume2.将安装包上传到虚拟机上，并解压tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /export/software/3.重命名 mv apache-flume-1.8.0-bin flume4.修改环境变量5.修改配置文件 cd flume/conf/ mv flume-env.sh.template flume-e

原创 Spark-Shell的启动与运行

一、运行spark-shell命令执行spark-shell命令就可以进入Spark-Shell交互式环境。命令如下：spark-shell --master <master-url>上述命令中,–master表示指定当前连接的Master节点，master-url用于指定spark的运行模式，可取的参考值如下所示：参数名称功能描述liocal使用一个Worker线程本地化运行Sparkliocal[*]本地运行spark，其工作线程数量与本机CPU逻

原创 Spark2.1.0安装和配置

一、scala的安装与配置1.scala的下载下载地址为：scala下载地址2.scala的安装与配置（1）安装包的解压tar -zxvf scala-2.12.14.tgzmv scala-2.12.14 /export/software/（2）环境变量的配置在命令行中输入如下命令，打开profile配置文件vi /etc/profile打开profile文件后在文件末尾加入如下配置语句：然后再命令行中输入source/etc/profile使环境变量生效。在命令行输入sc

原创 Mapreduce编程（一）-----WordCount程序编写及运行

一、MapReduce概述 MapReduce的核心思想是“分而治之”，就是把一个复杂的问题，按照一定的“分解”方式分为等价的规模较小的若干部分，然后逐个解决，分别找出各部分的结果，把各部分的结果组成整个问题的结果。 Map Reduce作为一种分布式计算模型，它主要用于解决海量数据的计算问题。使用MapReduce分析海量数据时，每个MapReduce程序被初始化为一个工作任务，每个工作任务可以分为Map和Reduce两个阶段，具体介绍如下：List item...

原创 Hadoop平台搭建的常见错误及解决方法

问题一：

原创 Hadoop平台搭建

一、修改主机名在Centos7中直接使用root用户执行hostnamectl命令修改，重启后永久生效。hostnamectl set-hostname 新主机名要求：三台主机的名字分别为：master slave1 slave2[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aAHdQIuT-1620739634507)(C:\Users\Hangerhui\AppData\Roaming\Typora\typora-user-images\162073