<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[a8330508的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/a8330508</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; a8330508]]></copyright><item><title><![CDATA[Jmeter的安装使用及注意事项详情(MapD)]]></title><link>https://blog.youkuaiyun.com/a8330508/article/details/85007234</link><guid>https://blog.youkuaiyun.com/a8330508/article/details/85007234</guid><author>a8330508</author><pubDate>Fri, 14 Dec 2018 17:33:22 +0800</pubDate><description><![CDATA[                                                     Jmeter的安装使用及注意事项详情

以下是对MapD数据库进行并发测试为例

安装
 

从官网上下载jmeter5.0(jmeter5.0的版本jdk必须8以上，否则打开不了)
 https://jmeter.apache.org/download_jmeter.cgi

解压
	bin...]]></description><category></category></item><item><title><![CDATA[谈对Kylin、KE(Kyligence Enterprise)、PostgreSql的一些感受]]></title><link>https://blog.youkuaiyun.com/a8330508/article/details/84639684</link><guid>https://blog.youkuaiyun.com/a8330508/article/details/84639684</guid><author>a8330508</author><pubDate>Thu, 29 Nov 2018 21:11:49 +0800</pubDate><description><![CDATA[           前言：

                 我们知道，对很大的数据表比如说几十T，我们经常使用设定定时器让Hive使用SQL转成MR，帮我们算出结果。我们需要让Hive为我们计算一段时间内的数据。但是如果对于一些场景，比如说数据分析师，经常想要很快的让数据库展现结果。然后这时候，可以采用PostgreSql使用citus插件进行分库分表，达到比较快的计算速度。当然也可以使用K...]]></description><category></category></item><item><title><![CDATA[jmeter、kylin、mysql、postgresql]]></title><link>https://blog.youkuaiyun.com/a8330508/article/details/84639237</link><guid>https://blog.youkuaiyun.com/a8330508/article/details/84639237</guid><author>a8330508</author><pubDate>Thu, 29 Nov 2018 20:42:27 +0800</pubDate><description><![CDATA[Jmeter

前言：如果经常测试发现都是失败，可能没有对应的驱动包，或者jmx中指定的包路径不对。

          jmeter与mysql连接需要mysql-connector-java***.jar

          jmeter与PostgreSql连接需要 postgresql-***-jdbc4.jar

          jmeter与Kylin连接需要 kylin-jd...]]></description><category></category></item><item><title><![CDATA[一些大数据学习书籍pdf]]></title><link>https://blog.youkuaiyun.com/a8330508/article/details/81429586</link><guid>https://blog.youkuaiyun.com/a8330508/article/details/81429586</guid><author>a8330508</author><pubDate>Sun, 05 Aug 2018 11:45:21 +0800</pubDate><description><![CDATA[由于网上太多资源都因为个人利益上传让其他人下载，所以本人将自己所想看的一些书籍pdf文件收集并发出来共享。

分享出来的链接含有以下书籍pdf：

 2018.11 新增《Kylin权威指南》

《Apache_Flume_Distributed_Log_Collection_For_Hadoop》

《Hadoop权威指南.大数据的存储与分析第4版》

《Hadoop权威指南第3版》

《HBa...]]></description><category></category></item><item><title><![CDATA[《Oracle经典教程》]]></title><link>https://blog.youkuaiyun.com/a8330508/article/details/81410688</link><guid>https://blog.youkuaiyun.com/a8330508/article/details/81410688</guid><author>a8330508</author><pubDate>Sat, 04 Aug 2018 14:27:28 +0800</pubDate><description><![CDATA[转自 https://blog.youkuaiyun.com/self_realian/article/details/72724307

走进Oracle. 2

1.    Oracle简介... 3

2.    Oracle安装... 4

3.    Oracle客户端工具... 9

4.    Oracle服务... 16

5.    Oracle启动和关闭... 17

6.    Orac...]]></description><category></category></item><item><title><![CDATA[使用MapReduce对年份、温度进行全排序，防止数据倾斜（详）]]></title><link>https://blog.youkuaiyun.com/a8330508/article/details/81257096</link><guid>https://blog.youkuaiyun.com/a8330508/article/details/81257096</guid><author>a8330508</author><pubDate>Sat, 28 Jul 2018 11:26:29 +0800</pubDate><description><![CDATA[  何为全排序？全排序就是将part-r-xxxxx文件合在一起，数据仍然有序。

  先来讲讲对年份、温度进行简单排序：

       1.以下是关于年份、温度的数据：

               ....

       2.对以上数据计算出每年最高气温

       3.编程：

             ①编写一个继承Mapper的类，重写map方法:

             ...]]></description><category></category></item><item><title><![CDATA[spark基本架构原理（详细）]]></title><link>https://blog.youkuaiyun.com/a8330508/article/details/81214223</link><guid>https://blog.youkuaiyun.com/a8330508/article/details/81214223</guid><author>a8330508</author><pubDate>Thu, 26 Jul 2018 09:34:33 +0800</pubDate><description><![CDATA[    Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势：

Spark提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的...]]></description><category></category></item><item><title><![CDATA[Hadoop Yarn 框架原理及运作机制]]></title><link>https://blog.youkuaiyun.com/a8330508/article/details/81193461</link><guid>https://blog.youkuaiyun.com/a8330508/article/details/81193461</guid><author>a8330508</author><pubDate>Tue, 24 Jul 2018 23:14:24 +0800</pubDate><description><![CDATA[原文不知在哪，此文转自：https://blog.youkuaiyun.com/liuwenbo0920/article/details/43304243

 

1.1 YARN 基本架构

YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationM...]]></description><category></category></item><item><title><![CDATA[06 hdfs输出流池化处理]]></title><link>https://blog.youkuaiyun.com/a8330508/article/details/81124690</link><guid>https://blog.youkuaiyun.com/a8330508/article/details/81124690</guid><author>a8330508</author><pubDate>Fri, 20 Jul 2018 00:12:14 +0800</pubDate><description><![CDATA[       因为在大数据收集数据当中，若经常打开流关闭流，很多时间花在这上，此时可以使用池化+装饰模式来优化。

整个过程是这样的：用单例模式创建一个池，池里放的是通过装饰模式生成的FSDataOutputStream输出流对象，每当创建一个输出流对象，用完后不关闭。再根据下一个输出流路径判断将要创建的输出流对象是否跟上一个输出流对象一样，如果一样则不创建输出流对象，直接使用上一个输出流对象，如...]]></description><category></category></item><item><title><![CDATA[05 flume+kafka实现对nginx日记收集并存储到hdfs]]></title><link>https://blog.youkuaiyun.com/a8330508/article/details/81106620</link><guid>https://blog.youkuaiyun.com/a8330508/article/details/81106620</guid><author>a8330508</author><pubDate>Wed, 18 Jul 2018 23:22:54 +0800</pubDate><description><![CDATA[1.在集群上每台nginx服务器安装flume

2.配置flume
        使用spooldir做为source，监控/soft/nginx/logs/flume文件夹。
        创建eshop.conf配置文件 [/soft/flume/conf/eshop.conf]
        a1.sources = r1
        a1.channels = c1
     ...]]></description><category></category></item><item><title><![CDATA[04 centos实现nginx日记滚动]]></title><link>https://blog.youkuaiyun.com/a8330508/article/details/81089457</link><guid>https://blog.youkuaiyun.com/a8330508/article/details/81089457</guid><author>a8330508</author><pubDate>Tue, 17 Jul 2018 22:32:04 +0800</pubDate><description><![CDATA[  在上一篇当中，已经搭建好nginx+tomcat实现动静资源的分离。

  接下来，使用ab做压力测试：

       1.安装httpd-2.2.21-win32-x86-no_ssl.msi试软件。下载地址：http://mirror.bit.edu.cn/apache//httpd/binaries/win32/?C=M;O=A 

       2.使用ab进行压力测试
      ...]]></description><category></category></item><item><title><![CDATA[03 nginx+tomcat实现动态+静态资源分离，实现日记收集]]></title><link>https://blog.youkuaiyun.com/a8330508/article/details/81089088</link><guid>https://blog.youkuaiyun.com/a8330508/article/details/81089088</guid><author>a8330508</author><pubDate>Tue, 17 Jul 2018 22:07:49 +0800</pubDate><description><![CDATA[在本项目中目录结构如下:



在本项目中，实现静态和动态资源的分离，静态的文件交给nginx处理，nginx对静态文件的处理比tomcat不是只快了一点，并且nginx的使用对项目并发能力有很大的提升。以下是个人安装搭建nginx+tomcat过程：

个人环境：

                 window10：nginx+tomcat

                虚拟机s128:n...]]></description><category></category></item><item><title><![CDATA[02 完善ssh搭建]]></title><link>https://blog.youkuaiyun.com/a8330508/article/details/81054824</link><guid>https://blog.youkuaiyun.com/a8330508/article/details/81054824</guid><author>a8330508</author><pubDate>Sun, 15 Jul 2018 19:28:54 +0800</pubDate><description><![CDATA[项目快速搭建已在上一篇当中介绍（包含，c3p0、hibernate、spring文件）在这篇当中，完善spring下图是各层之间的联系因为在实际开发中，不可能所有操作都是增删改查，可能有很复杂的操作，再复杂的操作都是由基本的操作组合成，所以一般都是面向业务编程，业务，就是在service层。service跟dao是两个层面，service力度比较粗，可以不断的去丰富和扩展，但是dao不变（因为我们...]]></description><category></category></item><item><title><![CDATA[01 idea下快速搭建项目（SSH框架）]]></title><link>https://blog.youkuaiyun.com/a8330508/article/details/81004673</link><guid>https://blog.youkuaiyun.com/a8330508/article/details/81004673</guid><author>a8330508</author><pubDate>Wed, 11 Jul 2018 18:11:13 +0800</pubDate><description><![CDATA[    1创建项目：            这个就不用讲了，本人创建的是名为bigdata工程    2:配置tomcat服务器：                3：添加名为eshop名称的模块并添加Web application的支持：4：运行时配置：    添加tomcat服务：    另外在deployment添加：5：创建index.html运行。即刻6：给eshop模块中添加maven支...]]></description><category></category></item><item><title><![CDATA[06 协处理器]]></title><link>https://blog.youkuaiyun.com/a8330508/article/details/80723922</link><guid>https://blog.youkuaiyun.com/a8330508/article/details/80723922</guid><author>a8330508</author><pubDate>Mon, 18 Jun 2018 14:14:03 +0800</pubDate><description><![CDATA[    因为在A打给B时，生成A打给B一条记录，于此同时需要生成一条B被A拨打的记录，这时就需要用到协处理器。

    创建CallLogRegionObserver：

    


/**
 * 协处理器,
 */
public class CallLogRegionObserver extends BaseRegionObserver {

    //被叫引用id
    private...]]></description><category></category></item><item><title><![CDATA[05 ssm框架访问操作hbase]]></title><link>https://blog.youkuaiyun.com/a8330508/article/details/80723832</link><guid>https://blog.youkuaiyun.com/a8330508/article/details/80723832</guid><author>a8330508</author><pubDate>Mon, 18 Jun 2018 14:07:59 +0800</pubDate><description><![CDATA[web端采用ssm框架进行对hbase操作。

配置文件：



beans.xml:

 


&amp;lt;?xml version=&quot;1.0&quot; encoding=&quot;UTF-8&quot;?&amp;gt;
&amp;lt;beans xmlns=&quot;http://www.springframework.org/schema/beans&quot;
       xmlns:tx=&quot;http://www.springframework....]]></description><category></category></item><item><title><![CDATA[04 hbase提取kafka中的数据存储]]></title><link>https://blog.youkuaiyun.com/a8330508/article/details/80722971</link><guid>https://blog.youkuaiyun.com/a8330508/article/details/80722971</guid><author>a8330508</author><pubDate>Mon, 18 Jun 2018 11:12:28 +0800</pubDate><description><![CDATA[    上一篇中的测试时是采用kafka消费者，如果把消费者换成hbase就可以实现hbase提取kafka中的数据进行存储。

      启动hbase要先启动hdfs，hbase需要zk

      启动hdfs：start-dfs.sh 

       启动hbase：start-hbase.sh

        要hbase高可用，需要在其他节点中启动：hbase-daemon.s...]]></description><category></category></item><item><title><![CDATA[03flume、kafka部分]]></title><link>https://blog.youkuaiyun.com/a8330508/article/details/80722866</link><guid>https://blog.youkuaiyun.com/a8330508/article/details/80722866</guid><author>a8330508</author><pubDate>Mon, 18 Jun 2018 10:52:23 +0800</pubDate><description><![CDATA[        kafka需要zookeeper支撑，所以先使用命令：zkServer.sh start 启动zk集群

        然后使用命令：kafka-server-start.sh -daemon /soft/kafka/config/server.properties  启动kafka集群

        各节点进程如下：

        

        创建名称为call...]]></description><category></category></item><item><title><![CDATA[02数据生成]]></title><link>https://blog.youkuaiyun.com/a8330508/article/details/80722781</link><guid>https://blog.youkuaiyun.com/a8330508/article/details/80722781</guid><author>a8330508</author><pubDate>Mon, 18 Jun 2018 10:24:49 +0800</pubDate><description><![CDATA[    一切配置外部文件化。

    创建gendata.conf

 


log.file=/home/centos/calllog/calllog.log

call.duration.max=600 

call.duration.format=000

call.year=2017

call.time.format=yyyy/MM/dd HH:mm:ss

gen.data.inte...]]></description><category></category></item><item><title><![CDATA[01项目概述]]></title><link>https://blog.youkuaiyun.com/a8330508/article/details/80722613</link><guid>https://blog.youkuaiyun.com/a8330508/article/details/80722613</guid><author>a8330508</author><pubDate>Mon, 18 Jun 2018 10:19:47 +0800</pubDate><description><![CDATA[       

        项目涉及到的知识：hadoop、hbase、hive、kafka、flume、ssm、yarn。

        运行环境：5台centos7.0，别名为s128—s132，16G内存

        各节点配置：

                        s128：zookeeper、flume、hbase、hive、yarn、hadoop

   ...]]></description><category></category></item></channel></rss>