epitomizelu的专栏

在实际工作中，性能调优是必不可少的，虽然业务千种百样，实际落地的解决方案可能也不尽相同，但归根结底，调优的最终目的是使得内存、CPU、IO均衡没有瓶颈。基本上，思路都是结合实际业务、数据量从硬件出发，考虑如何充分利用CPU、内存、IO。除了对业务的理解之外，对于Spark本身的机制也要深入理解，这样才能通过各种调整，充分发挥Spark的优势，达成调优的目的。下面以一个案例尝试总结常用的Spark调优思路和实践。案例数据来源极客时间Spark 性能调优实战，数据地址百度网盘，提取码 ajs6 。数

1，把操作hive的sql写在sh脚本里，用 bin/hive -f 执行脚本，不用登陆hive命令行界面，这样可以脚本自动化执行某些任务2，expect脚本先安装expect插件yum -y install expect#!/bin/expectspawn beeline set timeout 5expect "beeline>"send "!connect jdbc:hive2://node3:10000\r"expect "Enter username for jdbc:

一，hive的启动失败可能原因：1，hive依赖于hadoop集群的启动，如果hadoop集群没有启动，hive启动会失败2，配置文件错误hive安装路径下hive-env.sh中的HIVE_CONF_DIR配置错误

使用 Android Architecture Components，出现一个问题，LiveData的观察者Obsever会被多次调用。我的写法是private void loadData(FragmentActivity activity) { RfLoader.showLoading(activity); multiseriateDialogVi...

如果ssh localhost返回这样的提示：Agent admitted failure to sign using the key 、解决方案：      添加id_rsa到ssh-agent ：  ssh-add id_rsa      如果提示： “Could not open a connection to your authentication ag

出现这种异常，明显是jvm内存不够得原因，要修改所有的datanode的jvm内存大小。在hadoop-0.20.2/conf/mapred-site.xml里设置一下hadoop的mapred.child.java.opts。该值默认为200M。在文件中添加如下键值对：mapred.child.java.opts-Xmx512M

点击打开链接转自：http://blog.163.com/silver9886@126/blog/static/35971862201441134010403/1.用hadoop的eclipse插件下M/R程序的时候，有时候会报Exception in thread "main" java.lang.IllegalArgumentException: Pathname

转发自：http://blog.sina.com.cn/s/blog_7ebc46500101gtff.html有时候 Eclipse 会发神经，好端端的 project 就这么编译不了了，连 Hello World 都会报“找不到或无法加载主类”的错误，我已经遇到好几次了，以前是懒得深究就直接重建project了，但遇到次数多了必须深究下了，现总结几种解决方案，大家根据自己的情况逐一尝

eclipse Hadoop Failed to set permissions of pathwindow下在eclipse中执行hadoop程序时报错，如下：原因文末有写（来自网友），所有的解决方案都是修改FileUitl文件，然后重新编译hadoop核心包，替换现有的hadoop核心包。其实没有那么麻烦，只要在scr目录下重新建包，包里面包含FiltUitl类，将之前的FileUit