<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[zero_2121的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/zero_2121</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; zero_2121]]></copyright><item><title><![CDATA[JVM扫盲篇]]></title><link>https://blog.youkuaiyun.com/zero_2121/article/details/109382236</link><guid>https://blog.youkuaiyun.com/zero_2121/article/details/109382236</guid><author>zero_2121</author><pubDate>Fri, 30 Oct 2020 11:39:34 +0800</pubDate><description><![CDATA[JVM扫盲篇
第一章  JVM是啥
总结一下：JVM就是一台虚拟的机器，有自己的CPU,有自己的classLoader,有自己的寄存器，有自己的汇编语言等等。
1.JVM是一种规范，各大厂商对JVM有自己的自我实现。
（1）Hotspot oracle官方
（2）J9 IBM公司的实现
（3）TaobaoVM  --hotspot深度定制版
（4）Microsoft VM --微软自己的实现
（5）LiquidVM  -直接针对硬件（没有面对操作系统，直接面对硬件，效率非常高）
（5）azul zing -]]></description><category></category></item><item><title><![CDATA[hive企业级调优]]></title><link>https://blog.youkuaiyun.com/zero_2121/article/details/109381769</link><guid>https://blog.youkuaiyun.com/zero_2121/article/details/109381769</guid><author>zero_2121</author><pubDate>Fri, 30 Oct 2020 11:19:45 +0800</pubDate><description><![CDATA[hive企业级调优
1.1 Fetch抓取
Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。
在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老版本hive默认是minimal，该属性修改为more以后，在全局查找、字段查找、limit查找等都]]></description><category></category></item><item><title><![CDATA[shell脚本删除超过指定大小的日志文件]]></title><link>https://blog.youkuaiyun.com/zero_2121/article/details/108529910</link><guid>https://blog.youkuaiyun.com/zero_2121/article/details/108529910</guid><author>zero_2121</author><pubDate>Fri, 11 Sep 2020 10:52:17 +0800</pubDate><description><![CDATA[#shell脚本删除超过指定大小的日志文件
#!/bin/sh

filename=$1  #输入要删除的文件带绝对路径
size=$2      #输入文件删除的临界值，以G为单位
checkfilesize()

{

       time=$(date "+%Y-%m-%d %H:%M:%S")   #获取当前系统时间


        if [ ! -f "$filename" ]                                     #没有文件则创建文件

        t]]></description><category></category></item><item><title><![CDATA[离线数仓到实时数仓的架构演变]]></title><link>https://blog.youkuaiyun.com/zero_2121/article/details/108215849</link><guid>https://blog.youkuaiyun.com/zero_2121/article/details/108215849</guid><author>zero_2121</author><pubDate>Tue, 25 Aug 2020 10:32:20 +0800</pubDate><description><![CDATA[1.实时数仓的相关概述
1.1 实时数仓产生背景
我们先来回顾一下数据仓库的概念。

数据仓库的概念是于 90 年代由 Bill Inmon 提出, 当时的背景是传统的 OLTP 数据库无法很好的支持长周期分析决策场景，所以数据仓库概念的 4 个核心点，我们要结合着 OLTP 数据库当时的状态来对比理解。
面向主题的：数据仓库的数据组织方式与 OLTP 面向事务处理不同。因为数据仓库是面向分析决策的，所以数据经常按分析场景或者是分析对象等主题形式来组织。
集成的：对于数据仓库来说，经常需要去集合多个分散的、]]></description><category></category></item><item><title><![CDATA[Linux磁盘挂载]]></title><link>https://blog.youkuaiyun.com/zero_2121/article/details/107152423</link><guid>https://blog.youkuaiyun.com/zero_2121/article/details/107152423</guid><author>zero_2121</author><pubDate>Mon, 06 Jul 2020 11:01:15 +0800</pubDate><description><![CDATA[Linux磁盘挂载
挂载磁盘
由于我们下载的tar包非常大，大概5个G，解压之后也最少需要5个G的空间，而我们的虚拟机磁盘有限，不够用了，所以我们可以为我们的虚拟机挂载一块磁盘，专门用于存储我们的tar包。
第一步：虚拟机关机新增磁盘
在我们的虚拟机关机的状态下，在VMware当中新增一块磁盘








第二步：开机之后进行磁盘挂载
分区，格式化，挂载新磁盘

磁盘挂载

df -lh 

fdisk -l 

开始分区 

fdisk /dev/sdb   这个命令执行后依次输 n  p  1  回]]></description><category></category></item><item><title><![CDATA[Linux常用命令及快捷键]]></title><link>https://blog.youkuaiyun.com/zero_2121/article/details/107151709</link><guid>https://blog.youkuaiyun.com/zero_2121/article/details/107151709</guid><author>zero_2121</author><pubDate>Mon, 06 Jul 2020 10:38:42 +0800</pubDate><description><![CDATA[Linux常用命令及快捷键
一、快捷键
以下快捷键，都是一些常用的，记住这些命令，你的工作效率就会大大提升。


ctrl + a ：光标跳到行首。


ctrl + e ：光标跳到行尾。


ctrl + d ：后删一个字符；退出会话，类似于 exit 。


ctrl + k ：剪切光标后到行尾的所有内容（可以当作清除用）


ctrl + u ：剪切光标前到行首的所有内容（可以当作清除用）


ctrl + w ：剪切光标前的单个单词，以空格分隔（可以当作清除用）


ctrl + y ：粘贴剪切的内]]></description><category></category></item><item><title><![CDATA[LinkedIn Camus实践及踩坑记录]]></title><link>https://blog.youkuaiyun.com/zero_2121/article/details/107090585</link><guid>https://blog.youkuaiyun.com/zero_2121/article/details/107090585</guid><author>zero_2121</author><pubDate>Thu, 02 Jul 2020 18:31:29 +0800</pubDate><description><![CDATA[LinkedIn Camus踩坑记录
首先，介绍下Camus吧。
由LinkedIn公司开发的消息队列同步框架，提供将Kafka（一种消息队列框架）的数据装载到Hadoop分布式文件系统(HDFS)的功能。
英文版原文出处：http://docs.confluent.io/2.0.1/camus/docs/intro.html#key-features
转载于:https://www.cnblogs.com/SamZhang/p/5383209.html
简单来说camus其实底层还是执行的mapreduc]]></description><category></category></item><item><title><![CDATA[HBase数据迁移踩坑记录]]></title><link>https://blog.youkuaiyun.com/zero_2121/article/details/107089020</link><guid>https://blog.youkuaiyun.com/zero_2121/article/details/107089020</guid><author>zero_2121</author><pubDate>Thu, 02 Jul 2020 17:18:31 +0800</pubDate><description><![CDATA[HBase数据迁移踩坑记录
迁移背景：之前大数据集群部署在ucloud私有云上，由于各种原因，我们决定迁移到阿里云上；hbase数据迁移有很多种方式，我们使用的方式是distcp.
我们遇到的问题：
ucloud备份静态数据文件和hbase生产目录下备份静态文件，但是distcp过来新集群这边后，hbase开始使用后，目录下就莫名其妙会多出来一些空文件，手动删除之后过了一会又会有新的空文件出来。同时spark往hbase中写数据也有问题，报错说hbase存在重复的startkey。
然后我们手动删除空文件数]]></description><category></category></item><item><title><![CDATA[GC介绍及调优]]></title><link>https://blog.youkuaiyun.com/zero_2121/article/details/106815190</link><guid>https://blog.youkuaiyun.com/zero_2121/article/details/106815190</guid><author>zero_2121</author><pubDate>Wed, 17 Jun 2020 17:52:38 +0800</pubDate><description><![CDATA[GC和GC Tuning
作者：马士兵教育 http://mashibing.com
GC的基础知识
1.什么是垃圾

C语言申请内存：malloc free
C++： new delete
c/C++ 手动回收内存
Java: new ？
自动内存回收，编程上简单，系统不容易出错，手动释放内存，容易出两种类型的问题：

忘记回收
多次回收


没有任何引用指向的一个对象或者多个对象（循环引用）
2.如何定位垃圾

引用计数（ReferenceCount）
根可达算法(RootSearching)

3.常]]></description><category></category></item></channel></rss>