<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[A210810的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/A210810</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; A210810]]></copyright><item><title><![CDATA[Maven项目中Scala   Pom插件]]></title><link>https://blog.youkuaiyun.com/A210810/article/details/108058170</link><guid>https://blog.youkuaiyun.com/A210810/article/details/108058170</guid><author>A210810</author><pubDate>Mon, 17 Aug 2020 16:15:17 +0800</pubDate><description><![CDATA[记得创建完包之后鼠标右键点开源   开源选项在第二级第一级在最下面  仔细找一下


org.apache.spark
spark-core_2.11
2.1.1



WordCount


net.alchim31.maven
scala-maven-plugin
3.2.2



compile
testCompile







]]></description><category></category></item><item><title><![CDATA[Spark启动命令总结简介]]></title><link>https://blog.youkuaiyun.com/A210810/article/details/108035902</link><guid>https://blog.youkuaiyun.com/A210810/article/details/108035902</guid><author>A210810</author><pubDate>Sun, 16 Aug 2020 14:17:57 +0800</pubDate><description><![CDATA[**本地启动**
（安装本地后的启动Spark启动命令）

bin/spark-submit 
–class org.apache.spark.examples.SparkPi 
–executor-memory 1G 
–total-executor-cores 2 
./examples/jars/spark-examples_2.11-2.1.1.jar 
100
启动spark-shell启动之后是一个Scala程序
bin/spark-shll
启动Master主节点命令
sbin/start-a]]></description><category></category></item><item><title><![CDATA[如何解决Hbase的数据热点问题]]></title><link>https://blog.youkuaiyun.com/A210810/article/details/107689999</link><guid>https://blog.youkuaiyun.com/A210810/article/details/107689999</guid><author>A210810</author><pubDate>Thu, 30 Jul 2020 15:14:21 +0800</pubDate><description><![CDATA[Rowkey散列
由于数据是被按照Rowkey的字典顺序存储的，诺Rowkey顺序性较强会减弱Hbase分布式存储的特点，千万数据热点，在高并发数据读写时，会千万部分 region过载严重时会千万节点失陪，影响其他数据访问（一个忙，一个闲）
散列的方案
Hdfs可以让数据均衡分配，可重构，可以使用Get等方式快速访问数据
加随机数，数据均衡

...]]></description><category></category></item><item><title><![CDATA[Hbase都包含那几部分]]></title><link>https://blog.youkuaiyun.com/A210810/article/details/107689411</link><guid>https://blog.youkuaiyun.com/A210810/article/details/107689411</guid><author>A210810</author><pubDate>Thu, 30 Jul 2020 14:25:18 +0800</pubDate><description><![CDATA[Rowkey键
列族，
值
时间戳。版本
按照Rowkey字典（ASCII顺序存储），基于Rowkey的高校检索，同时继承HDFS的吞吐能力

]]></description><category></category></item><item><title><![CDATA[Azkaban介绍?]]></title><link>https://blog.youkuaiyun.com/A210810/article/details/107689241</link><guid>https://blog.youkuaiyun.com/A210810/article/details/107689241</guid><author>A210810</author><pubDate>Thu, 30 Jul 2020 14:21:24 +0800</pubDate><description><![CDATA[Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的Web用户界面维护和跟踪你的工作流。

...]]></description><category></category></item><item><title><![CDATA[大数据面试题]]></title><link>https://blog.youkuaiyun.com/A210810/article/details/107670191</link><guid>https://blog.youkuaiyun.com/A210810/article/details/107670191</guid><author>A210810</author><pubDate>Wed, 29 Jul 2020 17:36:25 +0800</pubDate><description><![CDATA[HIve和Hbase有什么区别
Hive
Hived的定位是数据仓库，虽然有增删改查，但删改查对应的是整张表而不是单行数据，查询的延迟较高，本质是更加方便的使用MapReduce的威力来进行离线分析的一个数据工具
Hbase
hbase的定位是hadoop的数据库，是一个典型的NoSql所以Hbase是用来在大量数据中进行延迟的随机查询
Hive的特点：
1：可扩展：Hive可以自由的扩展集群的规模，一般情况下不需要从起服务
2：延展性Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数
3：]]></description><category></category></item><item><title><![CDATA[Flume介绍与原理]]></title><link>https://blog.youkuaiyun.com/A210810/article/details/107663808</link><guid>https://blog.youkuaiyun.com/A210810/article/details/107663808</guid><author>A210810</author><pubDate>Wed, 29 Jul 2020 16:07:08 +0800</pubDate><description><![CDATA[1：什么是Flume？
apache Flume 是一个可以收集列如日志，事件等数据资源，将这些数量极大的数据从各项数据资源中集中起来的存储工具,服务，或者数字集中机制，flume具有高可用分布式，配置工具，设计的原理也是基于将数据流，如日志数据从各种网站服务器上汇集起来存储到HDFS,Hbase等集中存储器中，结构如下图。

2：应用的场景
比如我们在做一个电子商务网站，我们想从消费用户中访问点特定的节点区域来分析消费者的行为或购买意图，这样我们就可以更加快速的将客户想要的推送到界面上，
实现这些我们需要]]></description><category></category></item><item><title><![CDATA[Hive最全命令]]></title><link>https://blog.youkuaiyun.com/A210810/article/details/107636019</link><guid>https://blog.youkuaiyun.com/A210810/article/details/107636019</guid><author>A210810</author><pubDate>Tue, 28 Jul 2020 14:52:51 +0800</pubDate><description><![CDATA[Hive常用命令
hive&gt;CREATE TABLE t_hive(a int,b int,c int) ROW FORMAT DELIMTED FIELDS TERMINATED BY ‘\t’;
导入数据t_hive.txt到t_hive表
hive&gt; LOAD DATA LOCAL INPATH ‘/HOME/cos/demo/t_hive.txt’ OVERWRITE INTO TABLE t_hive;
正则匹配表名
hive&gt; show tables ‘t’;
增加一个字段
h]]></description><category></category></item><item><title><![CDATA[Hive简介以及原理]]></title><link>https://blog.youkuaiyun.com/A210810/article/details/107628531</link><guid>https://blog.youkuaiyun.com/A210810/article/details/107628531</guid><author>A210810</author><pubDate>Tue, 28 Jul 2020 14:28:19 +0800</pubDate><description><![CDATA[Hive简介
Hive是用来干什么的？有什么作用？
Hive来源是由脸书实现并开源
是一个基于Hadoop的一个数据仓库，底层数据在Hdfs之上。
可以使用Hve更方便的使用Hql处理和计算HDFS上的结构化的数据，使用与离线的批量数据计算.
Hive可以提供Hql查询功能，可以将数据映射为一张表，Hive本质是将sql语句转换为MapReduce来运行。
Hive 依赖与HDFS存储数据，Hive将Hql转换成MapReduce执行，所以说Hive是基于Hadoop的一个数据仓库工具，是指计算一款基于Hd]]></description><category></category></item><item><title><![CDATA[JDBD链接Mysql]]></title><link>https://blog.youkuaiyun.com/A210810/article/details/107387436</link><guid>https://blog.youkuaiyun.com/A210810/article/details/107387436</guid><author>A210810</author><pubDate>Thu, 16 Jul 2020 17:11:00 +0800</pubDate><description><![CDATA[package com.example.hbase.test;（改包名）

import java.sql.*;

public class Hbasezuoye {（改类名）
    public static void main(String[] args) throws ClassNotFoundException {
      Class.forName("com.mysql.cj.jdbc.Driver");
      String mysqlURL = "jdbc:mysql://local]]></description><category></category></item><item><title><![CDATA[Flume简介]]></title><link>https://blog.youkuaiyun.com/A210810/article/details/107386884</link><guid>https://blog.youkuaiyun.com/A210810/article/details/107386884</guid><author>A210810</author><pubDate>Thu, 16 Jul 2020 17:02:56 +0800</pubDate><description><![CDATA[**为什么使用flume???**

Nginx+tomcat架构图
sp–&gt;servlet(controller)–Service–&gt;dao–&gt;db
大数据的数据来源从哪
Hive(数据仓库),–&gt;mysql数据库;数据库的记录存储的是最近的记录(1亿,1个月,1周,1天),之前的数据要先备份到数据仓库,然后要清理掉(mysql),
日志:日记历史(system.out.println日志这个操作很low–不可取);log4j2
订单表(存储的是最新的,不能把所有的历史给存...]]></description><category></category></item><item><title><![CDATA[安装一台Centons7版本的虚拟机步骤]]></title><link>https://blog.youkuaiyun.com/A210810/article/details/107179763</link><guid>https://blog.youkuaiyun.com/A210810/article/details/107179763</guid><author>A210810</author><pubDate>Thu, 16 Jul 2020 15:05:30 +0800</pubDate><description><![CDATA[1：打开虚拟机软件
2：控制-&gt;新建
3：填写本台虚拟机的名称
4：文件夹位置要选&gt; 固态盘
5：类型 Linux（可根据自己需要系统更改）
6：版本 RedHat（64-bit）  下一步
7：内存大小 可根据自己电脑设置 8G的话800MB
8：虚拟硬盘设置为  现在创建虚拟硬盘 下一步创建
9：VDI磁盘映像
下载Centons7地址（本地址为阿里镜像）
[https://mirrors.aliyun.com/centos/7.8.2003/isos/x86_64/]（推荐选择IOS结尾文]]></description><category></category></item></channel></rss>