<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[qi49125的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/qi49125</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; qi49125]]></copyright><item><title><![CDATA[hadoop2.5环境下编译spark并部署]]></title><link>https://blog.youkuaiyun.com/qi49125/article/details/79895657</link><guid>https://blog.youkuaiyun.com/qi49125/article/details/79895657</guid><author>qi49125</author><pubDate>Wed, 11 Apr 2018 14:13:48 +0800</pubDate><description><![CDATA[1、环境介绍    操作系统：linux
    jdk：1.7.0_67
    spark版本：1.6.0
    hadoop版本：2.5.0或者cdh2.5.0
    maven版本：3.5.4
    scala版本：2.11.12、编译准备1)由于编译apache的spark，首先在maven的setting文件中增加阿里的源，
&amp;lt;mirror&amp;gt;
    &amp;lt;id&amp;g...]]></description><category></category></item><item><title><![CDATA[[Trident] Storm Trident 教程，state详解、trident api详解及实例]]></title><link>https://blog.youkuaiyun.com/qi49125/article/details/79090289</link><guid>https://blog.youkuaiyun.com/qi49125/article/details/79090289</guid><author>qi49125</author><pubDate>Fri, 09 Mar 2018 10:16:52 +0800</pubDate><description><![CDATA[英文原址：https://github.com/nathanmarz/storm/wiki/Trident-tutorial----------------Trident是在storm基础上，一个以realtime 计算为目标的高度抽象。 它在提供处理大吞吐量数据能力的同时，也提供了低延时分布式查询和有状态流式处理的能力。 如果你对Pig和Cascading这种高级批量处理工具很了解的话，那么应该...]]></description><category></category></item><item><title><![CDATA[storm安装部署]]></title><link>https://blog.youkuaiyun.com/qi49125/article/details/78906263</link><guid>https://blog.youkuaiyun.com/qi49125/article/details/78906263</guid><author>qi49125</author><pubDate>Tue, 26 Dec 2017 20:39:58 +0800</pubDate><description><![CDATA[本文以Twitter Storm官方Wiki为基础，详细描述如何快速搭建一个Storm集群，其中，项目实践中遇到的问题及经验总结，在相应章节以“注意事项”的形式给出。

1. Storm集群组件

Storm集群中包含两类节点：主控节点（Master Node）和工作节点（Work Node）。其分别对应的角色如下：

主控节点（Master Node）上运行一个被称为Nimbus的后]]></description><category></category></item><item><title><![CDATA[hbase架构深入解析]]></title><link>https://blog.youkuaiyun.com/qi49125/article/details/78861385</link><guid>https://blog.youkuaiyun.com/qi49125/article/details/78861385</guid><author>qi49125</author><pubDate>Thu, 21 Dec 2017 11:08:10 +0800</pubDate><description><![CDATA[此文档来自于一位大神的官方文档翻译+自创！感谢！

HBase架构组成
HBase采用Master/Slave架构搭建集群，它隶属于Hadoop生态系统，由一下类型节点组成：HMaster节点、HRegionServer节点、ZooKeeper集群，而在底层，它将数据存储于HDFS中，因而涉及到HDFS的NameNode、DataNode等，总体结构如下：

其中HMaster节点用于：]]></description><category></category></item><item><title><![CDATA[一台电脑同时运行两个tomcat]]></title><link>https://blog.youkuaiyun.com/qi49125/article/details/78780041</link><guid>https://blog.youkuaiyun.com/qi49125/article/details/78780041</guid><author>qi49125</author><pubDate>Tue, 12 Dec 2017 11:04:01 +0800</pubDate><description><![CDATA[修改Tomcat的端口号：

   在默认情况下，tomcat的端口是8080，如果出现8080端口号冲突，用如下方法可以修改Tomcat的端口号：

首先： 在Tomcat的根（安装）目录下，有一个conf文件夹，双击进入conf文件夹，在里面找到Server.xml文件，打开该文件。

其次：在文件中找到如下文本：

               maxThreads="150]]></description><category></category></item><item><title><![CDATA[Hbase使用问题汇总]]></title><link>https://blog.youkuaiyun.com/qi49125/article/details/78717747</link><guid>https://blog.youkuaiyun.com/qi49125/article/details/78717747</guid><author>qi49125</author><pubDate>Tue, 05 Dec 2017 11:20:12 +0800</pubDate><description><![CDATA[1.hbase表中的属性分别都是什么含义？
2.hbase中如何实现预分区？
3.hbase中本文采用了哪些优化方法？





一、hbase中的常见属性
       VERSIONS：指版本数
       MIN_VERSIONS=> '0'：最小版本数
       TTL=> 'FOREVER'：版本存活时间
              假设versions=1]]></description><category></category></item><item><title><![CDATA[sqoop简介以及架构介绍]]></title><link>https://blog.youkuaiyun.com/qi49125/article/details/78543783</link><guid>https://blog.youkuaiyun.com/qi49125/article/details/78543783</guid><author>qi49125</author><pubDate>Wed, 15 Nov 2017 18:37:23 +0800</pubDate><description><![CDATA[本篇文章在具体介绍Sqoop之前，先给大家用一个流程图介绍Hadoop业务的开发流程以及Sqoop在业务当中的实际地位。 

如上图所示：在实际的业务当中，我们首先对原始数据集通过MapReduce进行数据清洗，然后将清洗后的数据存入到Hbase数据库中，而后通过数据仓库Hive对Hbase中的数据进行统计与分析，分析之后将分析结果存入到Hive表中，然后通过Sqoop这个工具将我们的数据挖掘]]></description><category></category></item><item><title><![CDATA[HIVE高级与企业优化]]></title><link>https://blog.youkuaiyun.com/qi49125/article/details/78528340</link><guid>https://blog.youkuaiyun.com/qi49125/article/details/78528340</guid><author>qi49125</author><pubDate>Tue, 14 Nov 2017 11:01:03 +0800</pubDate><description><![CDATA[HiveServer2


参考地址：http://blog.youkuaiyun.com/czw698/article/details/44394923


1、启动hiveserver2服务






[python] view
 plain copy






$HIVE_HOME/bin/hive --service hiveserver2]]></description><category></category></item><item><title><![CDATA[git命令]]></title><link>https://blog.youkuaiyun.com/qi49125/article/details/78025907</link><guid>https://blog.youkuaiyun.com/qi49125/article/details/78025907</guid><author>qi49125</author><pubDate>Tue, 19 Sep 2017 08:45:11 +0800</pubDate><description><![CDATA[1.  安装完成后，在开始菜单里找到“Git”->“Git Bash”


2.  git config --global user.name "Your Name"
    git config --global user.email "email@example.com"


3.  cd F: (打开F盘)
    mkdir  (创建子目录)
    pwd (显示当前目]]></description><category></category></item><item><title><![CDATA[hive导入和导出的几种方式]]></title><link>https://blog.youkuaiyun.com/qi49125/article/details/78009883</link><guid>https://blog.youkuaiyun.com/qi49125/article/details/78009883</guid><author>qi49125</author><pubDate>Sun, 17 Sep 2017 13:47:18 +0800</pubDate><description><![CDATA[hive表导入方式：
1）加载本地文件到hive表
load data local inpath '本地文件路径'  into tabble 表名;

2）加载hdfs文件到hive表
load data inpath 'hdfs文件路径' [overwrite] into table 表名;
加上overwrite的话便会重写表的数据
3）加载已有数据
insert into t]]></description><category></category></item><item><title><![CDATA[hive官方文档翻译]]></title><link>https://blog.youkuaiyun.com/qi49125/article/details/78007181</link><guid>https://blog.youkuaiyun.com/qi49125/article/details/78007181</guid><author>qi49125</author><pubDate>Sat, 16 Sep 2017 22:26:23 +0800</pubDate><description><![CDATA[概念

Hive是什么

Hive是一个基于Apache Hadoop的数据仓库。对于数据存储与处理，Hadoop提供了主要的扩展和容错能力。

Hive设计的初衷是：对于大量的数据，使得数据汇总，查询和分析更加简单。它提供了SQL，允许用户更加简单地进行查询，汇总和数据分析。同时，Hive的SQL给予了用户多种方式来集成自己的功能，然后做定制化的查询，例如用户自定义函数（User D]]></description><category></category></item><item><title><![CDATA[CentOS7下 解决yum install mysql-server没有可用包的问题]]></title><link>https://blog.youkuaiyun.com/qi49125/article/details/78001843</link><guid>https://blog.youkuaiyun.com/qi49125/article/details/78001843</guid><author>qi49125</author><pubDate>Sat, 16 Sep 2017 10:40:01 +0800</pubDate><description><![CDATA[之前每次重启mysql启动时都会报错
每次Can't connect to local MySQL server through socket '/data/mysql/mysql.sock' (2)

到后来发现需要装server




[plain] view
 plain copy






# wget http://repo.mysql.com/mys]]></description><category></category></item><item><title><![CDATA[hive启动报错-Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient]]></title><link>https://blog.youkuaiyun.com/qi49125/article/details/77988399</link><guid>https://blog.youkuaiyun.com/qi49125/article/details/77988399</guid><author>qi49125</author><pubDate>Fri, 15 Sep 2017 10:05:30 +0800</pubDate><description><![CDATA[Exception
in thread 
"main" java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException:
 java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.Sessi]]></description><category></category></item><item><title><![CDATA[Centos7安装mydql之后已经自动让mariadb代替--mysql修改root密码]]></title><link>https://blog.youkuaiyun.com/qi49125/article/details/77979247</link><guid>https://blog.youkuaiyun.com/qi49125/article/details/77979247</guid><author>qi49125</author><pubDate>Thu, 14 Sep 2017 13:23:50 +0800</pubDate><description><![CDATA[不想装oracle，心想装个mysql轻便一点，我用的linux版本是Fedora24.执行完yum安装命令后发现竟然无法启动错误提示如下





[java] view
 plain copy


 print?



[root@localhost ~]# systemctl start mysql.service  
Failed to start mysql]]></description><category></category></item><item><title><![CDATA[mac命令行操作mysql]]></title><link>https://blog.youkuaiyun.com/qi49125/article/details/77887100</link><guid>https://blog.youkuaiyun.com/qi49125/article/details/77887100</guid><author>qi49125</author><pubDate>Thu, 07 Sep 2017 21:20:07 +0800</pubDate><description><![CDATA[首先手动启动Mysql应用程序

打开终端输入如下命令：  /usr/local/mysql/bin/mysql -u root -p

（注意：Windows下的是：  mysql -u root -p）
其中root为用户名。这时会出现如下命令：Enter
 password:  123456


这样就可以访问你的数据库服务器了。




            ]]></description><category></category></item><item><title><![CDATA[spring-bean命名方式-以及实例化--配置文件整合]]></title><link>https://blog.youkuaiyun.com/qi49125/article/details/77863115</link><guid>https://blog.youkuaiyun.com/qi49125/article/details/77863115</guid><author>qi49125</author><pubDate>Wed, 06 Sep 2017 10:39:48 +0800</pubDate><description><![CDATA[Spring 配置文件的一般结构如下：
•
•    =“resource1.xml” />
•    
 resource=“resource2.xml” />
•    ***”>
•    “bean2” class=“***”>
•    “bean3”name=“bean2”/>
•
其中import是导入其他配置。]]></description><category></category></item><item><title><![CDATA[servlet实例-登录跳转--参数传递-编码过滤器--权限过滤器]]></title><link>https://blog.youkuaiyun.com/qi49125/article/details/77854522</link><guid>https://blog.youkuaiyun.com/qi49125/article/details/77854522</guid><author>qi49125</author><pubDate>Tue, 05 Sep 2017 18:44:40 +0800</pubDate><description><![CDATA[一、首先创建一个index.jsp界面
<%@ page language="java" contentType="text/html; charset=UTF-8"
    pageEncoding="UTF-8"%>




首页


首页


/17/hello.jsp">17hello.jsp


<%
	String flag="";
	Object obj= session.getA]]></description><category></category></item><item><title><![CDATA[hadoop-HA启动，以及配了HA之后hdfs的路径问题]]></title><link>https://blog.youkuaiyun.com/qi49125/article/details/77745242</link><guid>https://blog.youkuaiyun.com/qi49125/article/details/77745242</guid><author>qi49125</author><pubDate>Thu, 31 Aug 2017 13:09:41 +0800</pubDate><description><![CDATA[配置了HA之后，需要将core和hdfs的文件拷贝到使用hdfs路径的框架上面去]]></description><category></category></item><item><title><![CDATA[zookeeper单机和分布式配置，以及配置文件说明]]></title><link>https://blog.youkuaiyun.com/qi49125/article/details/77575198</link><guid>https://blog.youkuaiyun.com/qi49125/article/details/77575198</guid><author>qi49125</author><pubDate>Fri, 25 Aug 2017 15:58:49 +0800</pubDate><description><![CDATA[]]></description><category></category></item><item><title><![CDATA[临时和永久修改linux的hostname主机名]]></title><link>https://blog.youkuaiyun.com/qi49125/article/details/77539913</link><guid>https://blog.youkuaiyun.com/qi49125/article/details/77539913</guid><author>qi49125</author><pubDate>Thu, 24 Aug 2017 18:59:05 +0800</pubDate><description><![CDATA[1、临时修改主机名：$ sudo hostname 主机名修改只能临时有效，机器重启后会自动还原。2、永久修改主机名：修改hostname文件（路径：/etc/hostname）：$ sudo nano /etc/hostname把hostname文件里面所有原来的名称改成你想改成的名称。主机名同时也保存在/etc/hosts文件中，需要把当前IP地址对应的主机名修改为hostname文件中的名称]]></description><category></category></item></channel></rss>