Lucky^_^Man-优快云博客

原创 PYQT5的安装

一、PYQT5的安装安装环境工具：Anaconda3，python版本-3.8.5安装步骤按顺序需要安装三个python第三方模块：PyQt5、PyQt5-tools、pyqt5desinger安装方法：pip install + 模块名【第三个模块 pyqt5designer，可能是由于新版本的问题，不安装会找不到 designer.exe】安装结果按上述步骤安装完成后，可以在路径：Anaconda3\Scripts 下找到后续PyCharm配置的两个 .exe 文件二、PyCharm

2021-09-19 16:47:46 1276

原创 Apache Hadoop Yarn 学习（二）

YARN日志学习第一篇学习了解是什么是Apache Hadoop Yarn，及其基本工作原理及流程，这篇将学习下Yarn的日志。提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录YARN日志学习概述一、查看YARN日志的方式1.ResourceManager Web UI界面二、使用步骤1.引入库2.读入数据总结概述Yarn 提供了两种用于查看集群中运行作业的日志：Resource Manager Web UI 和 Job History Web UI；【说明：由于本

2020-12-28 11:46:37 633

原创 MapReduce 学习（一）

出生在大数据时代，需要解决的两大问题是大规模数据的高效存储和计算；在Hadoop生态中对应的就是HDFS和MapReduce。MapReduce 是分布式并行编程模型，最早由Google提出，而Hadoop是对其的开源，降低了程序员的开发门槛；组成MapReduce 模型的核心是两大函数：Map 函数和Reduce 函数。设计理念“计算向数据靠拢”，因为移动数据需要消耗大量的网络开销，尤其在大数据的情况下尤为惊人；所以，MapReduce框架会将Map程序就近地在HDFS所在的数据节点进行运行（

2020-12-20 17:19:10 544 1

原创 Apache Hadoop Yarn 学习（一）

这里写自定义目录标题出生作用&优点功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入出生YARN（Yet Another Resource Negogiation）出生于MapReduce 2.0，是由MapReduce

2020-12-18 22:33:09 298 1

原创 JDK 的 ORACLE 官网下载步骤

下面以下载 jdk-8u181-linux-x64.tar.gz 为例，说明下在 ORACLE官网下载的具体步骤1、进入oracle官网–>Resource–>Software Downloads，如下截图：2、进入页面后，下滑选择“java”，然后点击“Java(JDK) for Developer”如下截图：3、下滑到页面最下方，点击蓝色链接字“Java Archive”，进入到jdk档案库中，选择需要下载的jdk安装包，如下截图：4、以下载 jdk-8u181-linux-x

2020-12-09 15:08:22 11888 3

原创 Hive return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask.……table could not be cleaned up.

Hive return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask.……table could not be cleaned up.在hive执行INSERT OVERWRITE TABLE的命令时出现如上的错误，截图如下：经过查找发现，自己错误理解了INSERT INTO TABLE 和 INSERT OVERWRITE TABLE 的区别；本案例中，我是要对空表追加新的记录，而不是覆盖原有的记录，所以应该将 INSERT OVERWR

2020-05-29 11:25:17 1760 2

ForTheHope的博客