<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[TomAndersen的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/TomAndersen</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; TomAndersen]]></copyright><item><title><![CDATA[Mac 环境变量配置基础教程]]></title><link>https://blog.youkuaiyun.com/TomAndersen/article/details/143928337</link><guid>https://blog.youkuaiyun.com/TomAndersen/article/details/143928337</guid><author>TomAndersen</author><pubDate>Wed, 20 Nov 2024 23:40:47 +0800</pubDate><description><![CDATA[MacOS 下一般配置有多个 Shell，如 Bash、ZSH 等，不同的 Shell 其创建 Terminal 时使用的环境变量配置文件也不尽相同，但一般都会读取并执行脚本文件来加载系统级环境变量，而用户级别环境变量，一般都会在各自 Shell 的 Home 路径下配置，即Bash的ZSh的，以及 SH 的~/.profile等。]]></description><category></category></item><item><title><![CDATA[基于ClickHouse的近实时数据更新方案]]></title><link>https://blog.youkuaiyun.com/TomAndersen/article/details/127731549</link><guid>https://blog.youkuaiyun.com/TomAndersen/article/details/127731549</guid><author>TomAndersen</author><pubDate>Mon, 07 Nov 2022 15:21:08 +0800</pubDate><description><![CDATA[众所周知，主攻OLAP场景的数据库引擎一般都会采用某种列式存储格式，以支撑其强大的数据处理性能，当无法同时兼顾行级事务，以及频繁的数据实时更新操作。如ROLAP中的Hive、Impala、Presto、ClickHouse，以及MOLAP中的Druid、Kylin，等等。]]></description><category></category></item><item><title><![CDATA[Java Nested Class(嵌套类)和Inner Class(内部类)]]></title><link>https://blog.youkuaiyun.com/TomAndersen/article/details/127195467</link><guid>https://blog.youkuaiyun.com/TomAndersen/article/details/127195467</guid><author>TomAndersen</author><pubDate>Fri, 07 Oct 2022 16:21:58 +0800</pubDate><description><![CDATA[最近在阅读《Java核心技术-卷I开发基础(原书12版)》第6.3章时, 感觉书中对于Java的内部类(inner class)以及嵌套类(nested class)的定义不够清晰和严谨, 其中静态内部类(static inner class)的定义, 又与内部类本身部分特性的描述产生冲突, 感觉难以理解并且无法自洽, 故而在网上冲浪过程中搜寻与Java内部类更为严谨可靠的定义和分类.]]></description><category></category></item><item><title><![CDATA[Java字符串字面量是何时进入到字符串常量池中的]]></title><link>https://blog.youkuaiyun.com/TomAndersen/article/details/107147344</link><guid>https://blog.youkuaiyun.com/TomAndersen/article/details/107147344</guid><author>TomAndersen</author><pubDate>Sun, 05 Jul 2020 23:22:56 +0800</pubDate><description><![CDATA[前言

本文主要用于记录和分享一下博主在解决如题问题时，从各种途径所查询到的个人认为比较可信的相关资料，以及他人或个人得出的一些结论。如果参考资料或者所得结论存在错误，欢迎批评指正。
注意：本文中提及到的概念，均建立在使用HotSpot VM的基础上，在其他Java虚拟机中并不一定适用。

Q&amp;A
Q1：什么是字符串常量池
字符串常量池，即String Constant Pool，又叫做String Pool，String Table。顾名思义，即用于存放字符串常量的运行时内存结构，其底层实现为一种]]></description><category></category></item><item><title><![CDATA[Hive之配置和使用LZO压缩]]></title><link>https://blog.youkuaiyun.com/TomAndersen/article/details/106892522</link><guid>https://blog.youkuaiyun.com/TomAndersen/article/details/106892522</guid><author>TomAndersen</author><pubDate>Sun, 21 Jun 2020 22:40:24 +0800</pubDate><description><![CDATA[前言


OS：CentOS 7


Hive：2.3.0


Hadoop：2.7.7


MySQL Server：5.7.10


Hive官方手册：LanguageManual LZO


在配置Hive使用lzo压缩功能之前，需要保证Hadoop集群中lzo依赖库的正确安装，以及hadoop-lzo依赖的正确配置，可以参考：Hadoop配置lzo压缩


温馨提示：Hive自定义组件打包时，不要同时打包依赖，避免各种版本冲突，只将额外的依赖添加到classpath中即可



配置过程
一、配置H]]></description><category></category></item><item><title><![CDATA[Hive之中文乱码问题]]></title><link>https://blog.youkuaiyun.com/TomAndersen/article/details/106735223</link><guid>https://blog.youkuaiyun.com/TomAndersen/article/details/106735223</guid><author>TomAndersen</author><pubDate>Sat, 13 Jun 2020 17:21:50 +0800</pubDate><description><![CDATA[前言

Hive：2.3.0
Hadoop：2.7.7
MySQL Server：5.7.10
OS：CentOS 7
本文主要演示如何解决Hive注释内容（即COMMENT）中出现中文乱码的问题


原因
Hive中的表字段等注释信息都存储在元数据库metastore中（本文中的元数据存储在MySQL的hive_db数据库中），当使用desc命令查看表字段的注释信息时，Hive会直接读取元数据库中的hive_db.COLUMNS_V2表，同样的修改元数据库中此表中的内容会直接反馈到desc的查询结果中。故]]></description><category></category></item><item><title><![CDATA[MySQL之实现免密登录（设置默认登录用户及密码）]]></title><link>https://blog.youkuaiyun.com/TomAndersen/article/details/106729507</link><guid>https://blog.youkuaiyun.com/TomAndersen/article/details/106729507</guid><author>TomAndersen</author><pubDate>Sat, 13 Jun 2020 11:13:41 +0800</pubDate><description><![CDATA[前言

MySQL版本：5.7.10
本文介绍的免密登录方式的原理就是在配置文件中设置mysql客户端命令行工具的默认参数，实现登录时可以直接使用设置参数进行登录，相当于设置了默认登录用户，并且只在修改了配置文件的主机上使用MySQL客户端登录时才有效


查看配置配置文件生效顺序
使用mysql --help命令可以输出mysql命令行工具的使用帮助手册，其中Default options are read from the following files in the given order:字样的后续]]></description><category></category></item><item><title><![CDATA[Linux之下载lz4压缩工具]]></title><link>https://blog.youkuaiyun.com/TomAndersen/article/details/106711558</link><guid>https://blog.youkuaiyun.com/TomAndersen/article/details/106711558</guid><author>TomAndersen</author><pubDate>Fri, 12 Jun 2020 11:02:20 +0800</pubDate><description><![CDATA[方法一：使用apt工具直接下载
apt-get -y install liblz4-tool


方法二：使用yum工具直接下载
yum -y install lz4 lz4-devel


方法三：编译源码
https://github.com/lz4/lz4/

End~

]]></description><category></category></item><item><title><![CDATA[CentOS修改yum工具安装源]]></title><link>https://blog.youkuaiyun.com/TomAndersen/article/details/106708123</link><guid>https://blog.youkuaiyun.com/TomAndersen/article/details/106708123</guid><author>TomAndersen</author><pubDate>Fri, 12 Jun 2020 08:53:19 +0800</pubDate><description><![CDATA[前言


OS：CentOS 7


本文主要演示在CentOS 7中如何修改yum软件源为国内下载源，提高yum下载速度


参考博客：https://www.cnblogs.com/Dleo/p/5758350.html



具体步骤
1）备份原始yum配置
cd /etc/yum.repos.d
# 备份原始仓库配置文件
mv CentOS-Base.repo CentOS-Base.repo-backup
# 下载阿里云yum仓库配置文件,并保存为原始yum仓库配置文件名
wget -O /etc]]></description><category></category></item><item><title><![CDATA[Hadoop配置lzo压缩]]></title><link>https://blog.youkuaiyun.com/TomAndersen/article/details/106695761</link><guid>https://blog.youkuaiyun.com/TomAndersen/article/details/106695761</guid><author>TomAndersen</author><pubDate>Thu, 11 Jun 2020 19:57:12 +0800</pubDate><description><![CDATA[前言

OS：CentOS 7
hadoop：2.7.7
lzo：lzo-2.10
Apache Maven：3.6.0
JDK：1.8.0_221
hadoop-lzo是一个围绕lzo压缩算法实现的Maven项目，基于hadoop提供的API实现了lzo压缩算法的编解码器，以及其他的一些自定义hadoop组件，本文主要演示如何编译此Git项目，并配置到hadoop集群中，实现lzo算法在集群中的使用
由于Hadoop和hadoop-lzo中目前都未集成lzo算法函数库，因此在编译hadoop-lzo项目之]]></description><category></category></item><item><title><![CDATA[Linux之配置lzo压缩]]></title><link>https://blog.youkuaiyun.com/TomAndersen/article/details/106695745</link><guid>https://blog.youkuaiyun.com/TomAndersen/article/details/106695745</guid><author>TomAndersen</author><pubDate>Thu, 11 Jun 2020 19:54:54 +0800</pubDate><description><![CDATA[前言


OS：CentOS 7


lzo：lzo-2.10


make：4.1


PS： 如果未安装make，则可以执行


sudo yum -y groupinstall "Development Tools"

或
sudo apt-get -y install build-essential

来安装Linux环境下基本开发编译工具包，其中就包含了gcc、g++、make等基本开发工具

安装步骤
一、下载LZO源码
官网地址
lzo-2.10 下载地址
二、编译LZO源码
1）解压源码压缩]]></description><category></category></item><item><title><![CDATA[Ubuntu修改apt工具安装源]]></title><link>https://blog.youkuaiyun.com/TomAndersen/article/details/106695722</link><guid>https://blog.youkuaiyun.com/TomAndersen/article/details/106695722</guid><author>TomAndersen</author><pubDate>Thu, 11 Jun 2020 19:53:49 +0800</pubDate><description><![CDATA[前言

OS：Ubuntu 18.04.4
本文主要演示如何设置apt的软件包下载源地址。由于Ubuntu默认的apt软件包源地址在国外，下载速度太慢，所以建议更改源地址
参考博客：Ubuntu更新软件源


具体步骤
1）备份原始apt配置文件
cp /etc/apt/sources.list /etc/apt/sources.list.backup

2）清空原始配置文件，添加软件包源地址
echo "" &gt; /etc/apt/sources.list

例如：设置阿里镜像下载源
#添加阿里源
d]]></description><category></category></item><item><title><![CDATA[YARN之配置Timeline服务]]></title><link>https://blog.youkuaiyun.com/TomAndersen/article/details/106615484</link><guid>https://blog.youkuaiyun.com/TomAndersen/article/details/106615484</guid><author>TomAndersen</author><pubDate>Mon, 08 Jun 2020 11:39:25 +0800</pubDate><description><![CDATA[前言

hadoop：2.7.7
Timeline Service 官方文档


简介
Timeline Server基于YARN运行，能够存储和检索应用程序的当前和历史信息，其主要有两个职责：
1）存储应用程序的特定信息
收集和检索指定应用程序或者框架的某些信息。例如，Hadoop的MR框架会产生像是Map task数量、Reduce task数量、Counter等信息，应用开发人员可以通过TimelineClient，在Application Master或者Container中将特定的信息发送到Tim]]></description><category></category></item><item><title><![CDATA[YARN和MapReduce内存分配计算公式]]></title><link>https://blog.youkuaiyun.com/TomAndersen/article/details/106615454</link><guid>https://blog.youkuaiyun.com/TomAndersen/article/details/106615454</guid><author>TomAndersen</author><pubDate>Mon, 08 Jun 2020 11:36:16 +0800</pubDate><description><![CDATA[前言

hadoop：2.7.7
本文内容均来自：HDP Command Line Installation 2.6.5 中第1.10节
HDP（Hortonworks Data Platform）是最常见的Hadoop的第三方发行版之一，类似的Hadoop发行版还有CDH、MapR等


计算YARN和MapReduce的内存需求
在Hadoop集群中，YARN管理着集群中的每个节点上的可用资源，并为运行在集群中的应用程序（如MapReduce）提供需要的资源，其中Container是YARN中最小的资源]]></description><category></category></item><item><title><![CDATA[Hive中使用count(1)或count()统计行数时结果为0的原因]]></title><link>https://blog.youkuaiyun.com/TomAndersen/article/details/106560747</link><guid>https://blog.youkuaiyun.com/TomAndersen/article/details/106560747</guid><author>TomAndersen</author><pubDate>Thu, 04 Jun 2020 23:31:22 +0800</pubDate><description><![CDATA[前言

Hive：2.3.0
Hadoop：2.7.7
JDK：1.8.0_221


原因
因为执行count(1)或count(*)统计行数时，默认会从Hive的元数据库中查询 rowsNum 对应值作为结果返回，一般情况下，如果是使用加载数据文件load data的方式填充表数据，则不会收集此统计信息，Hive收集的统计信息与收集时机见官方文档。

解决方案：
方案一：
使用ANALYZE命令手动更新表统计信息，如：
ANALYZE TABLE Table1 COMPUTE STATISTICS;

]]></description><category></category></item><item><title><![CDATA[Hive中配置Apache Tez运行MR]]></title><link>https://blog.youkuaiyun.com/TomAndersen/article/details/106560656</link><guid>https://blog.youkuaiyun.com/TomAndersen/article/details/106560656</guid><author>TomAndersen</author><pubDate>Thu, 04 Jun 2020 23:30:50 +0800</pubDate><description><![CDATA[前言

Hive：2.3.0
Hadoop：2.7.7
JDK：1.8.0_221
Tez：0.9.1
本次配置Apache Tez只是用于Hive执行MR任务，而非Hadoop全局配置，并且使用的是已编译二进制压缩包
Hadoop-Tez兼容性：Apache Tez 0.9.0中使用了部分Hadoop 2.7.0开发包，因此如果Hadoop是2.7.x版本，建议使用0.9.0及更新版本的Tez，避免发生兼容性问题。而对于Hadoop 2.6.x版本，官方建议使用Tez 0.8.3及更新版本的Tez
Hiv]]></description><category></category></item><item><title><![CDATA[Hive On Tez报错汇总]]></title><link>https://blog.youkuaiyun.com/TomAndersen/article/details/106560625</link><guid>https://blog.youkuaiyun.com/TomAndersen/article/details/106560625</guid><author>TomAndersen</author><pubDate>Thu, 04 Jun 2020 23:24:28 +0800</pubDate><description><![CDATA[前言

Hive：2.3.0
Hadoop：2.7.7
JDK：1.8.0_221
Tez：0.9.1


报错一
报错内容：
在Hive下使用Tez引擎执行MR Job时报错：Container killed on request. Exit code is 143
问题分析：
从Container killed on request这几个关键字就可以猜测，Container在非正常结束时被kill，很有可能就是Container使用的内存超出Container限制导致的。
查看Hive运行日志：
Hiv]]></description><category></category></item><item><title><![CDATA[LeetCode 260.Single Number III(只出现一次的数 III)]]></title><link>https://blog.youkuaiyun.com/TomAndersen/article/details/106482529</link><guid>https://blog.youkuaiyun.com/TomAndersen/article/details/106482529</guid><author>TomAndersen</author><pubDate>Mon, 01 Jun 2020 21:42:49 +0800</pubDate><description><![CDATA[题目
LeetCode: 260. Single Number III
力扣: 260. 只出现一次的数字 III
Given an array of numbers nums, in which exactly two elements appear only once and all the other elements appear exactly twice. Find the two elements that appear only once.
给定一个整数数组 nums，其中恰好有两个元素只出]]></description><category></category></item><item><title><![CDATA[LeetCode 137.Single Number II(只出现一次的数 II)]]></title><link>https://blog.youkuaiyun.com/TomAndersen/article/details/106482483</link><guid>https://blog.youkuaiyun.com/TomAndersen/article/details/106482483</guid><author>TomAndersen</author><pubDate>Mon, 01 Jun 2020 21:41:54 +0800</pubDate><description><![CDATA[题目
LeetCode: 137. Single Number II
力扣: 137. 只出现一次的数字 II
Given a non-empty array of integers, every element appears three times except for one, which appears exactly once. Find that single one.
给定一个非空整数数组，除了某个元素只出现一次以外，其余每个元素均出现了三次。找出那个只出现了一次的元素。
Note:
Your]]></description><category></category></item><item><title><![CDATA[LeetCode 136.Single Number(只出现一次的数)]]></title><link>https://blog.youkuaiyun.com/TomAndersen/article/details/106482453</link><guid>https://blog.youkuaiyun.com/TomAndersen/article/details/106482453</guid><author>TomAndersen</author><pubDate>Mon, 01 Jun 2020 21:40:07 +0800</pubDate><description><![CDATA[题目
LeetCode: 136. Single Number
力扣: 136. 只出现一次的数字
Given a non-empty array of integers, every element appears twice except for one. Find that single one.
给定一个非空整数数组，除了某个元素只出现一次以外，其余每个元素均出现两次。找出那个只出现了一次的元素。
Note:
Your algorithm should have a linear runtime c]]></description><category></category></item></channel></rss>