房东的猫的博客

​HDFS前言设计思想分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析；HDFS的概念和特性首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件。重要特性如下：HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M, 寻址时间是输出时间的1%

进入此配置文件后，将“HOSTNAME”修改为“hadoop02”，这个名称可以随意修改，最好不要和之前已存在的虚拟机的主机名一样， 最后按Esc热键进入末行模式，输入“:wq”保存退出即可。“Web点击流日志”包含着网站运营很重要的信息，通过日志分析，我们可以知道网站的访问量，哪个网页访问人数最多，哪个网页最有价值，广告转化率、访客的来源信息，访客的终端信息等。获取方式：在页面预埋一段js程序，为页面上想要监听的标签绑定事件，只要用户点击或移动到标签，即可触发ajax请求到后台servlet程序，用。

什么是Zookeeper？Zookeeper是个什么东西？1.Zookeeper可以被用作注册中心。2.Zookeeper是Hadoop生态系统的一员。3.构建Zookeeper集群的时候，使用的服务器最好是奇数台。你以为就完了？错Zookeeper是一个典型的分布式数据一致性解决方案，分布式应用程序可以基于Zookeeper实现诸如数据发布/订阅，负载均衡，命名服务，分布式协调/通知，集群管理，master选举，分布式和分布式队列；；

hive窗口中编写sql语句，然后会去Mysql里面进行表格结构和位置的查询，如果表格结构没有问题，那么就会将sql语句拆分成不同的关键字，然后调用mapreduce对应关键字的java脚本模板，如果mr的模板文件运行没有问题，就会调用yarn进行资源的申请和分配，然后使用mr进行数据的计算，最后将计算的结果再回显到hive数据的窗口中。相反，如果输入数据切片较小，可能会导致更多的数据块被创建，从而增加了Map任务的数量，提高了作业的并行度和执行速度。--------coalesce 类似于NVL函数，

日志分析：编写Shell脚本解析日志文件，提取关键信息或进行统计分析。日志分析：编写Shell脚本解析日志文件，提取关键信息或进行统计分析。自动化任务：使用Shell脚本编写定时任务，如数据备份、日志清理等。系统管理：通过Shell脚本管理系统配置，如用户管理、权限设置等。系统管理：通过Shell脚本管理系统配置，如用户管理、权限设置等。脚本编排：编写Shell脚本实现多个命令的自动执行和流程控制。脚本编写：编写Shell脚本实现多个命令的自动执行和流程控制。Shell脚本：MySQL数据备份。

1.确保HIve已经正确安装完毕，如已正确成功安装Hive，随时随地输入Hive启动即可首先要确保集群成功启动，否则hive会failed；2.启动成功之后，就可以做Hive的相关操作了，出现以下操作 -------成功！

解决虚拟机安装mysql8.*版本后安装hive过程中，MySQL无法用root登录问题，前文的解决安装比较麻烦还需新建用户在使用，1.首先进入HIve安装的下面的hive-site.xml文件 编辑。本篇文章详细介绍修改无法root登录问题，对比修改即可；5.然后登录hive，结束！将里边设置成root即可。

压缩包以附。

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。

使用格式： mv [选项]... 源文件或目录„ 目标文件或目录。用途：在屏幕上显示指定文件的开头若干行，默认显示 10 行。用途：在屏幕上显示指定文件的末尾若干行，默认显示 10 行。使用格式： cp [选项] 源文件或目录 目标文件或目录。使用格式：find [表达式]使用格式：ls [选项]... [目录或文件名]使用格式：du [选项]... [目录或文件名]使用格式： mkdir [选项] [参数]使用格式： rm [选项] 文件或目录。用途：删除文件或目录。

虚拟机用户密码设置完毕后，点击重启运行虚拟机。点击完成配置 自动进入用户界面 登录即可。

Linux是一套免费使用和自由传播的类Unix操作系统（主要用在服务器上），是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。目前市面上较知名的发行版有：Ubuntu、RedHat、CentOS、Debian、Fedora、SuSE、OpenSUSE、Arch Linux、SolusOS 等。Linux 操作系统架构。