养猪少年日记的博客

2022-05-18 20:19:55.197 INFO 4772 --- [ Thread-70] org.apache.hadoop.hdfs.DFSClient : Exception in createBlockOutputStreamjava.net.ConnectException: Connection timed out: no further information at sun.nio.ch.SocketChannelImpl.checkConne

Caused by: java.lang.NoClassDefFoundError: org/apache/jute/Record at org.apache.hadoop.hbase.zookeeper.RecoverableZooKeeper.checkZk(RecoverableZooKeeper.java:131) at org.apache.hadoop.hbase.zookeepe...

Hive建表语句如下：CREATE EXTERNAL TABLE IF NOT EXISTS students ( id int, name string, gender string, birthday Date, clazz string, phone string, loc string) COMMENT 'student details' ROW FORMAT DELIMITED...

内容待补充

之前我们成功创建了kylin的cube,并且可以使用web ui查询.但在真实的生产过程中,使用的是api调用,所以,我们将kylin api进行学习.官方api文档:这里本文代码:这里lylin有两种连接方法jdbc这种方法与mysql,hive相似,不重点讲.在这里插入代码片post通过post发送请求,返回json这种api调用比较新颖,较多大公司使用这种方法.在这里插...

Back propagation(反向传播)Backpropagation algorithms are a family of methods used to efficiently train artificial neural networks (ANNs) following a gradient descent approach that exploits the chain rul...

基本操作1．进入HBase客户端命令行[atguigu@cm1 hbase]$ bin/hbase shell2．查看帮助命令hbase(main):001:0> help3．查看当前数据库中有哪些表hbase(main):002:0> list表的操作1．创建表hbase(main):002:0> create ‘student’,‘info’2．插入数据到...

概述Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。安装下载地址:http://archive.apache.org/dist/zookeeper/单机模式解压到指定目录$ tar -zxvf zookeeper-3.4.10.tar.gz -C /o...

我在启动Flume对hdfs写入时报如下错误:ERROR [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventSink.process:447) - process failedjava.lang.NoClassDefFoundError: org/htrace/Trace...

Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。Flume框架批处理下面我们来详细介绍一下Flume架构中的组件。AgentAgent是一个JVM进程，它以事件的形式将数据从源头送至目的，是Flume数据传输的基本单元。Agent主要有3个部分组成，Source、Channe...

在eclipse中编写scala代码，在输入 . 或者alt+l是报如下错误An internal error occurred during: "Computing additional info"具体内容An internal error occurred during: “Computing additional info”.org.eclipse.jdt.internal.co...

一kylin框架Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。以Hive或者Kafka作为数据源，里面保存着真实表，而Kylin做的就是将数据进行抽象，通过引擎实现Cube的构建。将Hbase作为数据的仓库，...

一环境：centos 7 64位二软件下载：JDK1.8： 下载地址 选择64位linuxCloudera Manager：下载地址这里我选择的是[cloudera-manager-centos7-cm5.14.0_x86_64.tar.gz]

https://blog.youkuaiyun.com/Gamer_gyt/article/details/51533186

yum install mysql mysql-server mysql-devel -yservice mysqld startsql阅读更多MySql给用户设置权限同时指定访问密码时，会提示如下错误：ERROR 1372 (HY000): Password hash should be a 41-digit hexadecimal number；问题原因：你输入的密码是明文。不允...

i. hadoop出现的背景i. hadoop三大子系统组成三 MapReduce编程基础MapReduce的概念思想和基本程序框架ii. WordCount的基本逻辑iii. 利用MapReduce进行数据统计iv. 利用MapReduce计算最大最小值v. 利用MapReduce进行数据去重vi. 利用MapReduce求平均值vii. 利用MapReduce求分布viii...

1.下载kylin 安装包2.已部署的HBase, Hive, Yarn并启动（参考博客CDH安装）。在主机上部署3.mkdir /usr/local/apps4.cd /usr/local/apps5.rz (把包传到此目录下）6.tar -zxvf apache（tab键）7.建立软连接ln -s apache-kylin-2.4.1-bin kylin8.添加环境变量vim...

hive的安装在之前已经写了 地址：一.语法创建数据库语法： CREATE DATABASE|SCHEMA [IF NOT EXISTS] <database name>如： create database if not exists zzti_hive; hive> create database if not exists zzti_h...

输入hiveserver2打开hive server2在之前的学习和实践Hive中，使用的都是CLI或者hive –e的方式，该方式仅允许使用HiveQL执行查询、更新等操作，并且该方式比较笨拙单一。幸好Hive提供了轻客户端的实现，通过HiveServer或者HiveServer2，客户端可以在不启动CLI的情况下对Hive中的数据进行操作，两者都允许远程客户端使用多种编程语言如Ja...

requirement failed: No output operations registered, so nothing to execute：tranformation最后一步产生的那个RDD必须有相应Action操作，例如massages.print()等

在CDH上安装了hive进行一般查询没有问题,聚合查询就卡死,如图查看日志没有报错.查看mr状态发现一直在ACCEPTED状态.说明mr有问题,执行mr job ,果然卡死查询得知是因为yarn的物理内存过少,建议配置为运行内存大小或二倍运行内存大小.yarn-site.xml<property> <name>yarn.nodemanager.res...

如题在 Sandbox VM 中，YARN 不能给 MR job 分配请求的内存资源，因为 “inmem” cubing 算法需要更多的内存。您可以通过请求更少的内存来绕过这一步: 编辑修改Kylin的配置文件conf/kylin_job_conf_inmem.xml减小对内存的申请大小：将默认的参数（分配给map比较大的内存），如下：<property> <nam...

hadoop伪集群搭建第一阶段第二阶段：安装完系统配置。（root帐号）第三个阶段（root帐号）第四个阶段：(hadoop帐号）第五个阶段 测试运行程序,以wordcount为例第一阶段：使用平台,创建虚拟机CentOS：CentOS-6.9-x86_64-bin-DVD1VMware Workstation 12 Pro2.安装系统安装时选择最小化安装，内存设置51...