asportoss-优快云博客

原创 Metadata元数据管理

HDFS 高阶 1.元数据: 按形式分类:分为内存类元数据和硬盘类元数据; 磁盘元数据文件有2种: 1.fsimage 镜像文件: 存储了文件系统中所有的存储目录和文件元数据的信息,是datanode加入集群时,namenode询问datanode得到的; **2.edits 编辑日志 ** 存放hadoop所有增删改的日志 NameNode维护整个文件系统元数据。 ** 2.secondary...

2019-10-29 22:09:45 448

原创 SQL中INNER JOIN、LEFT JOIN、RIGHT JOIN、FULL JOIN区别

sql中的连接查询有inner join(内连接）、left join(左连接)、right join（右连接）、full join（全连接）四种方式，它们之间其实并没有太大区别，仅仅是查询出来的结果有所不同。例如我们有两张表： Orders表通过外键Id_P和Persons表进行关联。 1.inner join，在两张表进行连接查询时，只保留两张表中完全匹配的结果集。我们使用inner j...

2019-10-24 23:45:52 326

原创 ERROR beeline.ClassNameCompleter!

在使用beeline链接Hive服务的时候，报了下面的这个错误：使用beeline时输入:!connect jdbc://hive2://bigdata02:10000; 之后出现了这个情况: 19/10/23 11:57:15 [main]: ERROR beeline.ClassNameCompleter: Fail to parse the class name from the Jar ...

2019-10-24 17:09:35 718

原创处理MapReduce中的报错Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntax

写好MapReduce线下代码后,生成 example-mr-1.2.jar包上传并解压运行,如下: [root@bigdata01 ~]# hadoop jar example-mr-1.2.jar Exception in thread “main” java.lang.IllegalArgumentException: java.net.URISyntaxException: Relativ...

2019-10-20 19:05:17 2322 1

原创 flume报错客户机无法正常启动

Exception follows. org.apache.flume.FlumeException: Failed to set up server socket at org.apache.flume.source.AvroSource.start(AvroSource.java:248) at org.apache.flume.source.EventDrivenSourceRunner.s...

2019-10-18 20:43:37 858

原创解决telnet: connect to address 127.0.0.1: Connection refused拒绝连接

解决telnet: connect to address 127.0.0.1: Connection refused拒绝连接今天在使用flume 输入命令:Telnet localhost 44444之后系统显示: Trying ::1… telnet: connect to address ::1: Connection refused Trying 127.0.0.1… telnet: c...

2019-10-18 15:39:52 13648 2

原创 mysql重新学习笔记

20191014 mysql命令复习: desc table:列式展示; alter…add…:增加列; delete和 truncate table的区别 1.DELETE 　・DML语言・数据还可以找回来，恢复回来逐条删除删除速度要慢一些　・可以有条件的删除。DELETE FROM 表名 WHERE 条件 2.TRUNCATE TABLE 　・DDL语言・数据不可以恢复　・先将整个...

2019-10-14 23:27:43 195

原创 mysql中 not null default ''是啥意思?

mysql中 not null default ''是啥意思? s_name VARCHAR(20) NOT NULL DEFAULT ‘’ 或者s_name VARCHAR(20) NOT NULL DEFAULT '0 是啥意思? 我们在建表语句中经常见到这样一句话： not null default ‘’ 或者 not null default 0 等等 not null: 就是我们不希望...

2019-10-14 20:06:40 6517

原创 Flume初级使用blog

1.Flume是什么? Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 2.Flume的配置重点: rolln 控制文件按照何种方式滚动避免把记录一直写在一个文件中下面配置表示触发条件 al.sinks.k...

2019-10-14 14:42:53 216

原创 linux下HIVE/beeline客户端的安装和启动

linux下HIVE/beeline客户端的安装和启动 1.首先安装mysql;(推荐远程安装) #安装mysql yum install mysql mysql-server mysql-devel /etc/init.d/mysqld start 首次启动 mysql 启动mysql进入控制台 mysql>; USE mysql; mysql>; UPDATE user SET...

2019-10-12 19:33:10 5639

AsProtoss的博客