善皮之的博客

flink 1.11 整合cdh jar包编译下载flink 1.11的源码下载地址:环境准备Cloudera Manager 6.1.1hadoop-cdh version 3.0.0scala_version 2.11mvn 需要安装git(主要想利用git中的shell,不想用的话可以使用power shell窗口命令行)前提需要在maven中配置cdh的源和aliyun的源（本文只讨论flink编译，不研究maven,默认已经做好）开始编译flink 源码下载

kafkaCat安装下载地址：github:kafkacat点击下载zip之后，上传到服务器上，然后解压一下这个zip，然后使用如下命令yum install -y librdkafka-devel./configuremake && make install如果librdKafka不能正常安装的话，需要到github上面直接找到它的源码，自己手动编译安装注意编译的路径...

Spark3报错: hive.ql.metadata.HiveException: Unable to fetch table Invalid method name: ‘get_table_req’环境hive版本1.1.0-cdh-5.10scala版本2.11.11hadoop版本2.6.0我之前用的是spark的2.4.4的发行版的包，现在想切换成spark3.0版本包...

gitlab 卡在ruby_block[wait for redis service socket] action run环境:ubuntu 20在安装gitlab的时候,安装完毕，执行sudo gitlab-ctl reconfigure，在/etc/gitlab/gitlab.rb文件的时候，会卡在这地方在这里插入图片描述然后等了很久也没有看到这个控制台输出的日志信息发生变化。解决方案:在另外开启一个终端启动如下命令sudo /opt/gitlab/embedded/bin/runsvd

CDH 6.1 环境搭建图文教程（非生产环境）因为以前搭建过CDH 5.10本次教程在三台虚拟机cent os7里面，提供一个CDH 6.1基础的搭建对CDH 6.x的版本熟悉一下检查环境关闭防火墙# 检查防火墙状态systemctl status firewalld# 关闭防火墙systemctl stop firewalld# 开机禁止防火墙重启systemctl d...

spark分布式环境搭建(1)spark环境搭建在前面的文章当中，我已经将hadoop这个分布式文件系统搭建完毕，接下来就是对spark环境进行搭建。注意在搭建spark之前，有几个点要注意到，因为我们用到的是spark社区提供的安装包，里面可能有些功能是不支持的，需要自己去手动编译。相关的手动编译过程，如果有空的话，我记录一下如何手动编译spark安装包(早知道他喵的就早点记录文档了，啊！...

spark分布式环境搭建(3) hadoop分布式环境安装目标:安装hadoop软件配置hadoop软件环境变量启动hadoop上传一个hadoop的压缩包到/opt目录中解压hadoop压缩包tar -zxvf hadoop-2.7.7.tar.gz配置hadoop软件环境变量修改hadoop-env.shvim /opt/hadoop-2.7.7/etc/had...

spark分布式环境搭建（2）分布式环境准备上文我们已经准备好了一台cent os7系统现在我们需要做的就是找到这个虚拟机的系统，复制两份，总计三个虚拟机，搭建一个三台机器的基础分布式环境集群。（有啥问题在评论区留言，我最近每天都在，共同进步）ps:我已经复制好了开启三台机器，它们的环境都是一样的（是复制得到的集群）目标:修改三台机器的hostname修改三台机器的ip修改三台...

spark分布式环境搭建(1) 单个系统环境准备因为测试新的组件性能，需要个集群，没有多余的机器，所以自己搭建一个环境，之前搭建的系统都删除了。所以重新记录一下，以防下次再搭建的时候，反复去搜索文档。注明：我这里用的是vmware搭建的环境，如果是实体服务器玩家，稍作修改准备一个linux系统(我这里是cent os 7)本文主要包括以下内容:关闭防火墙关闭seLinux安装ja...

动机因为hive的执行引擎可以设置为spark，但是hive的默认执行引擎是mapreduce，这种操作是对磁盘进行大量的io操作，所以在效率上不会比spark高，运行时间也是会比spark更长，但是官方发布的spark版本内置了hive组件，然后就是使用hived时候会出现各种各样的问题(确实出现了各种各样的问题，不然我就不会下这篇技术水文)环境linux cent OS7操作首先...

hive2.3的搭建前提: 集群中已经安装好了hadoop，并且已经启动了hdfs准备工作:hive安装包 hibve历代版本下载地址我这里因为spark的版本需要，我安装了hive2.3安装步骤:1.上传安装包到服务器上，然后解压2. 进入hive的conf目录，编辑hive-site.xml vim hdfs-site.xml内容如下<?xml version=...

Presto简介presto是一个分布式SQL查询引擎，用于查询分布在一个或多个异构数据源上的大型数据集。更多详细的介绍请移步去Presto官网Presto的安装准备1.检查本机的jdk的版本，Presto要求jdk 1.8 151以上的版本2.下载Presto的安装包，下载地址presto-server-0.224.tar.gz3.有一个Presto的客户端，下载地址presto...

今天早上启动rstudio-server 的时候报了一个这样的错误，如下图所示：看到这个错误，接着想使用rstudio-server进行一个restart的操作：嗯，看起来似乎不起作用。接下来我想着直接用rstudio-server stop这个命令，将Rstudio-server先关闭，随后再使用rstudio-server server 启动这个服务器。但是看起来似乎也是不起作用:...

利用Rstudio编译报错这个时候要检查一下自己的gcc 的版本了，如果是cent OS 6的版本的话，gcc 的版本应该是4.4.7有些R的包需要gcc的编译器的版本要高于4.4.7解决方案我有两个:1.cent OS6 就换cent OS 7 默认的gcc的版本是:4.82.自己安装高于gcc4.4.7以上版本的编译器，这个网上有大量的教程。我当时只是因为要在自己的电脑上配置一个...

前提条件集群中的所有的节点都要安装R的运行环境(不会安装的，请参照我的另外一篇博客地址)集群中的所有的节点的spark环境的位置都要一致R语言程序能够正确运行行吧，做好了以上三条我就没有遇到错误，有问题评论区见~...

就这两条命令吧yum install epel-repleaseyum install R执行完毕之后就会出现输入一个大写的R可能出现的错误：找不到epel-replease，更换一下yum源就好了吧，我换的是aliyun的yum源。...

Azkabanazkaban是一个任务调度软件，任务调度工具。Azkaban的工作流的调度因为最近在做一个利用sqoop进行mysql的数据导入到hdfs的工作。本来就是一个简简单单的导入工作。不知道为什么，就突然，聊着聊着突然就要做自动调度了嗯，自动调度就自动调度吧。。。一般linux都自带有crontab，这个东西可以做定时任务的，可以在里面直接运行shell脚本。这么一想，美滋滋...

在腾讯云下安装spark的经历事情的起因是有一个群友问到了这个问题，本着闲得无聊（因为找工作而焦虑睡不着所以就帮人家配置一下集群）存在这样的一个问题：启动spark集群的时候发现每台机器上面只有一个master没有其他的进程关于这个问题的排查：发现腾讯云主机的hostname和/etc/hosts里面配置的映射名称不一致。然后继续启动spark集群，利用jps命令发现，一个spark相关进...

动机我们都是python程序可以提交到spark平台上进行分布式计算，所以需求就来了，如何搭建一个pyspark环境，如果没有搭建成功可能会报各种各样的错误.，当自己写的pyspark程序明明没有错误还是会报错的话（初次使用的时候，我就是利用pycharm跑了一个spark官网上的python wordCount示例报错了），那么请检查一下自己的pyspark环境有没有搭建好准备spark...