- 博客(16)
- 收藏
- 关注
RSS订阅原创 Hive group by或 left join等聚合操作时报错：Failed to recognize predicate 'group' / 'left'.
Hive执行goup by语句的时候报如下错："Failed to recognize predicate 'group'. Failed rule: 'identifier' in subquery source"解决方法：检查字句前面是否有别名，如果没有，需加别名。...
2020-04-09 15:47:45
3557
原创 Centos 7.3 搭建、重装ftp服务器及配置vsftpd
一、安装1、检查是否已安装了vsftpd，命令：rpm -qa |grep vsftp如果没安装过，什么都不显示，已安装则显示类似结果2、重装及搭建重装的话卸载之前需要关闭vsftp服务器，命令：systemctl stop vsftpd.service然后再执行：rpm -evsftpd-3.0.2-25.el7.x86_64卸载完之后安装v...
2019-08-22 14:03:34
2208
原创 Spark On Yarn中Yarn分配资源的时候vcore怎么理解
Yarn在Spark On Yarn或者其他场景任何需要用到Yarn来提供计算资源的场景中为什么要用vcore这个概念代替physical core来分配cpu core的数量？这是因为集群中可能不是所有的机器都是同一种规格的，有的cpu处理能力强，有的弱。假设性能强的一个physical core计算能力相当于弱的3倍，这个时候，可以指定处理能力强的那个cpu一个physical core为...
2019-03-14 10:45:17
6099
转载 spark的UI界面及调优
[看图说话] 基于Spark UI性能优化与调试——初级篇Spark有几种部署的模式，单机版、集群版等等，平时单机版在数据量不大的时候可以跟传统的java程序一样进行断电调试、但是在集群上调试就比较麻烦了...远程断点不太方便，只能通过Log的形式进行数据分析，利用spark ui做性能调整和优化。那么本篇就介绍下如何利用Ui做性能分析，因为本人的经验也不是很丰富，所以只能作为一个入门...
2019-03-11 14:12:13
6424
2
原创 Java访问控制符权限范围
Java中访问控制符权限范围如下表所示，其中要注意的是“protected”。被这个访问控制符修饰的属性或方法也能被同一个包内非继承关系的类所访问。 ...
2018-11-27 11:24:30
1265
原创 Scala如何实现break和continue
Scala中没有Java/C/C++中的break和continue这样的关键字来控制循环，而我们在写Scala/Spark的时候又经常需要用到这样的操作，那么该如何解决这个问题呢？其实通过Scala中的breakable（）就可以解决，具体用法看如下例子。//注意：要使用breakable需先导入此包import scala.util.control.Breaks._;object ...
2018-11-13 10:22:15
1221
1
原创 [ERROR] Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:compile (default) ......
idea打包的时候出现如下报错：[ERROR] Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:compile (default) on project CBFlowDataWithSasl: wrap: org.apache.commons.exec.ExecuteException: Process ex...
2018-11-01 17:24:23
10741
1
原创 Cloudera Manager和CDH搭建相关事项
Cloudera Manager和CDH搭建可参考“https://blog.youkuaiyun.com/gtsina/article/details/78048925”这篇博客，亲测可以搭建成功。搭建过程遇到的一些问题及解决方案记录如下：1、安装之前一定要配置ntpd服务器，不然会出现警告解决方案：如何安装ntpd服务器，请参考“https://blog.youkuaiyun.com/freedomboy...
2018-09-18 14:30:56
460
原创 String、StringBuilder和StringBuffer
一、String、StringBuilder和StringBuffer的区别String：每次对其对象操作（如字符串拼接）都会产生一个新的对象，如果有大量的操作，则JVM会频繁的创建新对象，回收垃圾，拖慢程序运行速度StringBuilder：其对象本身是可变的，频繁操作不会产生新的对象，线程不安全，速度相比其他两个最快。StringBuffer：其对象本身是可变的，频繁操作不会产生新...
2018-08-23 13:33:22
246
原创 Error:(4, 25) java: 找不到符号符号:类 xxx位置:程序包 xxx.xxx
idea运行java程序的时候报错，提示：“Error:(4, 25) java: 找不到符号符号:类 xxx位置:程序包 xxx.xxx”。我当时出现这种情况是因为用idea的maven打了jar包，之后运行程序出现上述错误。解决方法:用maven中的“clean”清理掉刚才打的jar包之后就不会报错了。...
2018-07-26 16:38:27
86702
38
原创 大数据面试题之Hadoop集群搭建步骤
一、打开需要搭建Hadoop集群的主从节点服务器 ，配置好静态IP、主机名hostname、主机IP映射文件hosts、关掉防火墙二、通过远程登录工具（我用的是SecureSRT） 登录到Linux系统，登录前需要在Windows系统中C:\Windows\System32\drivers\etc目录下的hosts中配置好Linux系统的ip地址和主机名，要不然远程登录工具无法连接到Linux系统...
2018-02-27 23:34:45
1725
转载 Scala类和对象详解
一、类定义、创建对象 Scala和Java一样，用class关键字来创建类，eg: class Student{ var score:Int=0 } 利用javap -private Student命令可以看到上述Scala文件对应的字节码文件内容为： 可以看到，编译后成员变量score前面的限定符为private ，Scala默认生成了scor...
2018-02-22 13:42:06
3208
原创 Flume知识点讲解
Flume知识点讲解主要从以下几个问题及解答展开 1、Flume概述 Flume是Cloudera提供的一个高可用的、分布式的海量日志采集、聚合和传输的系统，后被捐献给开源软件基金会组织Apache,现已发展成为其顶级项目。其分为两个版本：初始发行版Flume-OG和重构版本Flume-NG。这里介绍一下两者的区别：1）OG版本中有Master的概念、依赖于Zookeeper，而NG版本中摒弃了...
2018-02-09 17:34:22
550
原创 JobTracker和TaskTracker详解
Hadoop的三大组件中MapReduce运行过程时，会启动进程JobTracker和TaskTracker。其中JobTracker位于Master节点中，TaskTracke位于Slave节点中，MapReduce任务运行结束，各自节点所对应的进程也随之消失。JobTracker： Hadoop集群中的一个应用程序就是一个Job，而Job又被JobTracker分解成很多个Ta
2018-02-05 20:09:31
2740
原创 zookeeper选举机制
什么是zookeeper？ zookeeper是一个分布式应用程序协调服务、开源的组件，有分布式服务的基本都可以用zookeeper。 zookeeper有三种角色的节点，分别是Leader（领导者）、Follower（跟随者）、Observer（观察者）。 Leader 负责更新系统状态，进行投票（选举leader）的发起和决议。 Follower 用于接收客户端请求并向
2017-11-08 22:22:36
4508
转载 Linux文件存储结构
Linux文件存储结构Centos磁盘格式是EXT4Windows磁盘格式一般是NTFSCentos文件存储结构/:根目录：一般根目录下只存放目录，/etc,/bin,/dev,/lib,/sbin应该和根目录放置在一个分区中/bin:/usr/bin:可执行二进制文件的目录，如常用的命令ls,tar,mv,cat等/boot:放置Linux系统启动时用的一些文件。/boot/vmlinuz为Li
2017-10-26 10:49:28
403
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人