- 博客(9)
- 收藏
- 关注
RSS订阅原创 一些总结（1）
Impala安装主意：hive metadata server的启动，hosts文件确保正确impala数据导入：无法转换int或者bigint，检查字符集。linux根据各种性能指标：考虑使用tsar工具，命令如tsar -l
2016-05-19 10:07:32
312
翻译 SparkSQL学习记录之三
这次我们讲讲SparkSQL的数据源。通过DataFrame接口，SparkSQL支持操作各种的数据源。DataFrame能够在普通的RDDs上被操作，也可被注册成一个临时表。将DataFrame注册成一个表，可以允许你使用SQL查询。下来我们讲讲如何使用一般的方法来加载和额保存数据，然后研究怎么指定要操作的数据源的选项。为了简单说明，默认的数据源（parquet格式）将被用在所有的演示中
2016-04-18 15:39:01
683
翻译 sparkSQL学习记录之二
在SPARKSQL中也可以运行SQL语句来生成DataFrame。如val df=sqlContext.sql("SELECT * FROM table")Spark SQL支持2种方式转换存在的RDDS为DataFrames，第一中方式是使用反射去推断包含特定类型的对象的RDD的表的模式。当你在写Spark应用程序时，已经知道表的模式这种基于反射的方法会使代码更简洁，使用起来方便。第二种
2016-04-01 09:43:59
536
翻译 sparkSQL学习记录之一
Spark SQL是一个为了结构化数据处理的模块，并且提供了一个叫做DataFrames的编程抽象，它也能够作为分布式SQL查询引擎。DataFrames是一个分布式的由指定的列组成的数据集合，它相当于关系数据库中的表，或者R/Python中的数据框架，但是能够进行更多的优化。Data能够被各种wide array源所构造，如，结构化的数据文件，hive中表，外部数据库，或者存在的RDDs。
2016-03-31 16:33:13
381
原创 安装Elasticsearch集群
Elastic search集群的搭建还是挺简单的，这里我们简单的介绍下，本次我们使用三个主机进行测试，每个主机只安装一个节点。我们可以在官网下载最新版本的Elasticsearch，官网地址：https://www.elastic.co/downloads/elasticsearch，目前最新版本为2.2.1。可以下载到某一个节点上，然后通过scp命令分发到其他的节点。在自己选定
2016-03-30 17:27:25
482
原创 centOS配置SSH无密码登录
最近在搭建利用VM搭建局域网，操作系统为centos6.5,这里介绍下利用ssh_copy_id来配置无密码登录。假设我们有三台主机，host1，host2，host3，在安装ssh服务之后，我们就可以开始配置了。host1：ssh-keygen -t rsacat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keyssudo chmod 60
2016-03-22 09:14:05
432
原创 CENTOS关闭防火墙
1） 永久性生效，重启后不会复原开启： chkconfig iptables on关闭： chkconfig iptables off2） 即时生效，重启后复原开启： service iptables start关闭： service iptables stop
2016-03-18 11:32:34
464
原创 elasticsearch+logstash+kibana+marvel
我们需要以下工具:logstash（数据收集），kibana(可视化数据),marvel(监控elastic search)。我们首先下载logstash，并且解压安装好logstash，建立etc/目录，在里面创建一个配置文件one.conf，内容容下： 使用命令bin/logstash -f etc/one.conf启动logstash，以便进行数据收集。下载并配置kibana
2016-03-17 18:01:22
919
原创 CentOS下安装myeclipse出现JVM terminated. Exit code=127的解决方法
在CentOS中安装好JDK之后，安装MyEclipse之后，运行一段时间出现JVM terminated. Exit code=127，出错原因可能是缺少libsoup依赖，我们使用yum安装libsoup即可！解决方法：yum install libsoup
2016-03-06 11:47:16
2003
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人