qq_15508167的博客

CentOS中进行hadoop的安装步骤

1、 查以前是否装过Mysql（以前装过，注意将之前的文件删除，见文件最后列表）     rpm -qa|grep -i mysql2、 发现有的话就都卸载    rpm -e --nodeps mysql-libs-5.1.73-5.el6_6.x86_643、 删除老版本 mysql 的开发头文件和库   rm -rf /usr/lib/mysql   rm -rf /...

      我们在使用spark的ALS的推荐算法时，需要用到jblas包，这时如果我们直接利用： import org.jblas.DoubleMatrix会提示我们jblas包不存在的问题。 一般我们直接将下载的jblas包，放在spark的lib目录下，启动完成。      但是，cloudera中启动spark-shell，导入jblas包的时候，提示不存在，直接放在lib目录下，导入还是...

今天在整合hive on spark的时候，出现一个小的问题，进行命令：show databases或者show tables时出现如下问题，FAILED: IllegalArgumentException java.net.URISyntaxException: Relative path in absolute URI: file:./$/root/hive/tmp/root/ed57815b...

第一个问题：安装mysql后，进行了权限语句的执行：mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;然后进行：mysql> FLUSH PRIVILEGES;但是启动hive时出现：Unable to instantiate org.apache.hadoop...

参考文件的链接地址：http://icesquare.com/wordpress/mysql-starting-mysql-error-the-server-quit-without-updating-pid-file/

1.安装环境，三个节点，在配置的时候不小心忘记配置slaves节点，导致，进行2次 namenode -format2.进行start-dfs.sh命令时，发现主节点可以启动，但是其他两个从节点，启动以后，立刻死亡，yarn是可以正常启动的，所以定位，问题应该是出在hdfs的格式化问题上3.原因是我们每次格式化的时候，会产生这个文件夹/tmp/hadoop-hadoop/4.我们可以将

在CRT中，打开send chat to all session的对话框1.使用命令，生成公共密匙：：ssh-keygen2.使用命令，将生成的密匙拷贝到其他结点中，实现不同节点的ssh免密登录：：ssh-copy-id spark01：ssh-copy-id spark02：ssh-copy-id spark033.这样就快速实现了三个节点之间

在配置linux系统的时候，主机名，IP地址，主机映射都已经做好，并且也可以ping通网站，系统配置都已经准备好，在windows的C:\Windows\System32\drivers\etc\hosts文件上进行主机映射配置，打开CRT软件，进行链接的时候发现还是链接不上。找了半天问题，结果发现在windows的hosts文件上有格式问题。IP映射前不能顶格写，要空两格！！！！

hive的四种数据导入方式

linux中临时修改主机名和永久修改主机名的方法

linux系统中安装hive的详细步骤以及jline出错的原因

一、整体步骤：1.首先安装kafka，配置flume。创建kafka的topic（利用zookeeper进行管理，所以首先要安装zookeeper）2.将文件放置在flume的source目录下，启动flume。将文件读取到指定的kafka的topic中。3.启动的kafka的consumer端。 二、具体整合过程：1.前提kafka和flume已经安装好，我们主要讲解整合...