奔跑入坑大数据

采集中间件分析

1. 下载Hadoop环境包解压2.设置windows环境

因为好久没创建过kafka topic 经排查是zookeeper的地址有问题因此地址需要一致：kafka-topics.sh --create --topic test --zookeeper hadoop112:2181/kafka --partitions 5 --replication-factor 1

Java开发转了大数据，竟然被拉去做了非结构的ETL抽取，真的是比做后端伤脑筋，没有可借鉴的框架，只能根据数据抽取,第一份大数据实习，写完抽取代码后，需要写成UDF和UDTF进行使用。记录一下UDF和GenericUDF的区别：UDF属于基础的UDF:简单的udf实现很简单，只需要继承udf，然后实现evaluate()方法就行了。evaluate()允许重载。...

1. hive udtf的函数中的实体源码参考：Hive之ObjectInspector详解

在hive中，经常需要查询自定义的以及系统的函数使用方法，一般情况下在hive中使用下面三个命令即可：1.查看所有的函数：show functions;2. 查看date相关的函数：（模糊查询）show functions like 函数名示例：show functions like '*date*' （模糊查询）3.粗粒度查看函数的使用方法：desc function 函数名示例：desc function round;4. 细粒度查看函数使用方法：desc f.

解决方法：添加依赖<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client --><dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.7.0</...

1. 进行使用Spark程序操作出现版本错误提示,进行spark和scala的版本查看2.前往maven进行查看spark和scala版本查看3. spark3.0 以后，不再支持 scala2.11spark3.0 以后，只能用 scala2.12...

问题描述class scala.collection.mutable.WrappedArray overrides final method toBuffer.本质上是因为我们使用的SDK和Spark版本不兼容导致的，例如我的spark版本是spark 2.3.4，而我使用了scala-sdk 2.13.2，就导致了这个错误。PS： 吐槽一下sdk向后兼容做的真的不太好(CUDA也是)解决办法下载适合你的spark版本的scala-sdk版本，这里给出一份版本对应关系表。spark版本 ..

一、什么是即席查询即席查询是用户根据自己的需求，灵活的选择查询条件，系统根据用户的选择生成相应的统计报表。普通查应用查询是定制开发的，即席查询是用户自定义查询条件理解：快速的执行自定义SQL（可能无法提前运算和预测）重点关注：数据存储格式和架构理解了什么是即席查询之后，下面会从定义、框架原理、优化等几个方面介绍这四个框架、最后会做一个对比，面对不同的业务选择合适的框架二、Kylin (over)1、定义：Apache kylin是一个开源分布式分析引擎、提供Hadoop、Spark之

最近接手其他人的项目，使用自定义UDTF来完成复杂异构数据的解析操作，根据文档进行测试之前的测试用例，发现Main函数识别不到。<dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>2.3.2</version> <scope>provided</scop

在搭建Kylin的时候，需要确保HDFS、yarn、hive、zookeeper、hbase等部署完毕。

## **Superset安装及使用**Superset官网地址：http://superset.apache.org/使用miniconda1）下载Miniconda（Python3版本）下载地址：https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh2）安装Miniconda（1）执行以下命令进行安装，并按照提示操作，直到安装完成。```[atguigu@hadoop102 lib]$ ba

1.No module named wtforms.compat查找不到，原因是因为wtforms升级了3.0.0版本的原因，重新下载指定版本 2.3.3版本即可解决 pip install WTForms==2.3.32.No module named 'dataclasses'安装dataclasses最终初始化数据库终于成功...

get_json_object(string json_string, string path)说明：第一个参数填写json对象变量，第二个参数使用$表示json变量标识，然后用 . 或 [] 读取对象或数组；如果输入的json字符串无效，那么返回NULL。每次只能返回一个数据项。data ={ "store": { "fruit":[{"weight":8,"type":"apple"}, {"weight":9,"type":"pear"}],

这个问题是因为没有启动hive的元数据服务；一般来说 hive进行连接Mysql数据库的时候有两种方式：1.使用元数据服务进行连接2.使用JDBC直接连接Mysql查看日志：不能使用任何的URIs服务连接到元数据空间；这个看一下hive-site.xml配置表因为使用了元数据服务metastore.uris所以在进行hive使用的时候都会进行连接，查询元数据。...

1. 进行搭建数据采集2. 数据从log日志进行flume 收集到kafka上面 file-flume-kafka （测试通过）3. 数据从kafka到flume进行上传至hdfs中 （出现数据channel有问题，数据上传不到kafka）最终检查发现 flume脚本 kafka-flume-hdfs出现问题，出现问题出错，修改完毕之后数据正确运行一般出现这种情况需要检查一下数据链路从哪里断掉的，然后分析原因。...

1.执行中出现错误bin/zkServer.sh startJMX enabled by default Using config: /opt/zookeeper/zookeeper-3.4.5/bin/../conf/zoo.cfg Starting zookeeper ... /opt/zookeeper/zookeeper-3.4.5/bin/zkServer.sh: 第 103 行:[: /tmp/zookeeper: 期待二元表达式 STARTED原因是配置文件中zoo.cfg 有个多

function start(){ for host in hadoop102 hadoop103 hadoop104do ssh $host "source /etc/profile;/export/servers/zookeeper-3.4.5/bin/zkServer.sh start" echo "======$host zookeeper is running========"done}function stop(){ for .

Hive1.查询hivemeta信息，查到的numRows为-1cdh 不限 不限 不限 在hivemeta库中可以通过以下sql查询表的元数据信息SELECT * FROM TABLE_PARAMS WHERE tbl_id = 45857其中numRows会被用来统计为表的行数，但是发现有些表查出来行数为-1可能原因可能是因为这个表新建后没有通过这种方式插入过数据，所以表没有进行过统计，默认信息即为numRows=-1解决方案使用命令ANALYZE.

报错信息：21/07/23 21:58:17 [main]: WARN jdbc.HiveConnection: Failed to connect to hadoop102:10000Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop102:10000: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.i

问题：初始化的时候hive报错解决：排查后发现是hive内依赖的guava.jar和hadoop内的版本不一致造成的，更换为相同的版本就ok了cp $HADOOP_HOME/share/hadoop/common/lib/guava-27.0-jre.jar $HIVE_HOME/lib/rm $HIVE_HOME/lib/guava-19.0.jar...

参考文章docker安装大数据框架

问题：进行配置多队列容器，启动yarn resourceManager报错：排查：在初始化队列的时候忘记写入子队列

出现问题：解决路径：　　1. 检查环境变量是否配置正确　　增加用户变量HADOOP_HOME，下载的zip包解压的目录，然后在系统变量path里增加 %HADOOP_HOME%\bin 即可。　　　 2. 检查hadoop版本，查看pom文件中 hadoop的版本号和windows的hadoop是否一致。(我的是这个问题 pom引用的是3.1.3版本的 环境变量是3.0.0的，替换POM文件的版本正常解决)...

问题描述：Permission denied: user=dr.who, access=READ_EXECUTE,inode="/user":root:supergroup:drwx-wx-wx说明只有root用户能进行读写操作 ，目前user为dr.who 权限不允许分析在浏览器查看目录和删除目录及文件，为什么会是dr.who，dr.who其实是hadoop中http访问的静态用户名，并没有啥特殊含义，可以在core-default.xml中看到其配置.hadoop.ht...

因为在进行集群的时候，需要访问不同的服务器，为了方便使用，这里我们会使用到SSH进行免密登陆。一、SSH的配置 生成公钥和私钥： ssh-keygen -t rsa 将公钥拷贝到要免密登录的目标机器上 ssh-copy-id hadoop102ssh-copy-id hadoop103ssh-copy-id hadoop104.ssh文件夹下（~/.ssh）的文件功能解释表2-4known_hosts 记录ssh访问过计算机的公钥(public ..

参考文章：MapReduce job被kill掉出现问题如图：经分析也能看出问题点所在进行扩充节点内存就可以了，mapreduce运行中发现有任务被kill掉，多半是因为内存分配不足造成，所以需要修改内存配置。首先在yarn-site.xml中添加下面内容：<property> <name>yarn.nodemanager.resource.memory-mb</name> <value>22528</value&gt...

目录思考：NameNode中的元数据是存储在哪里的？Fsimage和Edits解析利用oiv oev查看FsImage 和 editsCheckPoint时间设置思考：NameNode中的元数据是存储在哪里的？首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。这样又会带.

在Linux系统下的opt目录中查看软件包是否导入成功ls /opt/software/看到如下结果：解压JDK到/opt/module目录下tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/5. 配置JDK环境变量（1）新建/etc/profile.d/my_env.sh文件sudo vim /etc/profile.d/my_env.sh添加如下内容#JAVA_HOMEexport JAVA_H...

*克隆虚拟机**，虚拟机配置要求如下：*（1）单台虚拟机：内存4G，硬盘50G，安装必要环境sudo yum install -y epel-release​sudo yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static（3）修改克隆虚拟机的静态IPsudo vim /etc/sysconfig/network-scripts/ifcfg-ens33改成DEVICE=ens

1. flink在进行类型转换的时候，忽然进行报错2. 类似上面原因就是flink没识别到自身的POJO属性值，我们可以按照要求进行修改为满足条件的POJO属性值。类似这样 ，我犯的错误是没有自身空的构造函数导致报错这个可以作为参考点public class Sensor implements Serializable { // 传感器名称 private String id; // 时间戳 private Long timestamp; // 传感器.

经过多年的发展形成了 Hadoop1.X 生态系统，其结构如下图所示：HDFS：Hadoop 生态圈的基本组成部分是 Hadoop 分布式文件系统（HDFS）。HDFS 是一种分布式文件系统，数据被保存在计算机集群上，HDFS 为 HBase 等工具提供了基础。MapReduce：Hadoop 的主要执行框架是 MapReduce，它是一个分布式、并行处理的编程模型，MapReduce 把任...