<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[narata1的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/narata1</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; narata1]]></copyright><item><title><![CDATA[Spark 部署]]></title><link>https://blog.youkuaiyun.com/narata1/article/details/120939855</link><guid>https://blog.youkuaiyun.com/narata1/article/details/120939855</guid><author>narata1</author><pubDate>Sun, 24 Oct 2021 20:13:52 +0800</pubDate><description><![CDATA[独立集群部署
修改 spark-env.sh
export JAVA_HOME=/data/soft/jdk1.8
export SPARK_MASTER_HOST=master

修改 slaves
salve1
slave2

启动集群
sbin/start-all.sh

]]></description><category></category></item><item><title><![CDATA[大数据相关网址收集]]></title><link>https://blog.youkuaiyun.com/narata1/article/details/120901652</link><guid>https://blog.youkuaiyun.com/narata1/article/details/120901652</guid><author>narata1</author><pubDate>Fri, 22 Oct 2021 10:55:45 +0800</pubDate><description><![CDATA[Hive SQL 语法总结
Hive 常用函数大全

]]></description><category></category></item><item><title><![CDATA[Hive 部署]]></title><link>https://blog.youkuaiyun.com/narata1/article/details/120901578</link><guid>https://blog.youkuaiyun.com/narata1/article/details/120901578</guid><author>narata1</author><pubDate>Fri, 22 Oct 2021 10:52:38 +0800</pubDate><description><![CDATA[安装Hive
设置Hive环境变量
HIVE_HOME=/usr/local/software/hive
export PATH=$PAHT:$HIVE_HOME/bin HIVE_HOME

创建HDFS目录
hdfs dfs -mkdir -p /usr/hive/warehouse
hdfs dfs -mkdir -p /usr/hive/tmp
hdfs dfs -mkdir -p /usr/hive/log
hdfs dfs -chmod g+w /usr/hive/warehouse
hdfs ]]></description><category></category></item><item><title><![CDATA[hadoop，普通集群部署，高可用集群部署]]></title><link>https://blog.youkuaiyun.com/narata1/article/details/120901098</link><guid>https://blog.youkuaiyun.com/narata1/article/details/120901098</guid><author>narata1</author><pubDate>Fri, 22 Oct 2021 10:45:15 +0800</pubDate><description><![CDATA[基础配置
切换清华源
备份，将 CentOS-Base.repo 为CentOS-Base.repo.backup
cp /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

编辑 /etc/yum.repos.d/Centos-Base.repo
# CentOS-Base.repo
#
# The mirror system uses the connecting IP address of the cli]]></description><category></category></item><item><title><![CDATA[Java8 的新功能流：streams]]></title><link>https://blog.youkuaiyun.com/narata1/article/details/102686132</link><guid>https://blog.youkuaiyun.com/narata1/article/details/102686132</guid><author>narata1</author><pubDate>Tue, 22 Oct 2019 16:55:52 +0800</pubDate><description><![CDATA[Stream API
java.util.stream：其中包含用于处理元素序列的类
Stream
Stream Creation
stream() or of()
String[] arr = new String[]{"a", "b", "c"};
Stream&lt;String&gt; stream = Arrays.stream(arr);
stream = Stream.of("a",...]]></description><category></category></item><item><title><![CDATA[Maven package、install、deploy的区别]]></title><link>https://blog.youkuaiyun.com/narata1/article/details/102686065</link><guid>https://blog.youkuaiyun.com/narata1/article/details/102686065</guid><author>narata1</author><pubDate>Tue, 22 Oct 2019 16:53:24 +0800</pubDate><description><![CDATA[命令
执行的命令
功能及区别




package
resources、compile、testResources、testCompile、test、jar
项目编译、单元测试、打包功能，但没有布署到本地maven仓库和远程maven私服仓库


install
resources、compile、testResources、testCompile、test、jar、install
项目...]]></description><category></category></item><item><title><![CDATA[Spring缓存注解@Cacheable、@CachePut、@CacheEvict、@CacheConfig等]]></title><link>https://blog.youkuaiyun.com/narata1/article/details/102685944</link><guid>https://blog.youkuaiyun.com/narata1/article/details/102685944</guid><author>narata1</author><pubDate>Tue, 22 Oct 2019 16:50:10 +0800</pubDate><description><![CDATA[@Cacheable
@Cacheable是用来声明方法是可缓存的。将结果存储到缓存中以便后续使用相同参数调用时不需执行实际的方法。
默认key的生成按照以下规则：

如果没有参数,则使用0作为key
如果只有一个参数，使用该参数作为key
如果又多个参数，使用包含所有参数的hashCode作为key

自定义key：

直接使用字符串，如“1”
支持SpringEL表达式，如“#demo.id”...]]></description><category></category></item><item><title><![CDATA[Hadoop的shuffle和排序]]></title><link>https://blog.youkuaiyun.com/narata1/article/details/102667145</link><guid>https://blog.youkuaiyun.com/narata1/article/details/102667145</guid><author>narata1</author><pubDate>Mon, 21 Oct 2019 16:47:20 +0800</pubDate><description><![CDATA[目录map 端reduce 端配置调优map 端调优属性reduce 端的调优属性
系统进行排序、将 map 输出作为输入传给 reducer 的过程被称为 shuffle。

map 端
map 函数开始产生输出时，会利用缓冲的方式写到内存并出于效率的考虑进行预排序。
每个 map 任务都有一个环形内存缓冲区用于存储任务输出，默认缓冲区大小为 100MB，可通过 mapreduce.task.i...]]></description><category></category></item><item><title><![CDATA[Hadoop 用户命令详解]]></title><link>https://blog.youkuaiyun.com/narata1/article/details/87914315</link><guid>https://blog.youkuaiyun.com/narata1/article/details/87914315</guid><author>narata1</author><pubDate>Mon, 25 Feb 2019 11:46:04 +0800</pubDate><description><![CDATA[Hadoop 集群用户的常用命令

hadoop [–config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]

archive
创建一个hadoop档案文件。

hadoop archive -archiveName NAME * 





命令选项
描述




-archiveName NAME
要创建的档案的名字


sr...]]></description><category></category></item><item><title><![CDATA[Hadoop FS 命令详解]]></title><link>https://blog.youkuaiyun.com/narata1/article/details/87912861</link><guid>https://blog.youkuaiyun.com/narata1/article/details/87912861</guid><author>narata1</author><pubDate>Mon, 25 Feb 2019 10:44:39 +0800</pubDate><description><![CDATA[FS Shell
调用文件系统(FS)Shell命令应使用 hadoop fs 的形式。
所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。
对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。
一个H...]]></description><category></category></item><item><title><![CDATA[运行 jar 包时，使用 File 报错]]></title><link>https://blog.youkuaiyun.com/narata1/article/details/87865669</link><guid>https://blog.youkuaiyun.com/narata1/article/details/87865669</guid><author>narata1</author><pubDate>Thu, 21 Feb 2019 17:51:54 +0800</pubDate><description><![CDATA[在运行jar包时，通过 getClass().getClassLoader.getResource(&quot;filename&quot;).getFile() 获得的文件路径采用的是：jar:&amp;lt;url&amp;gt;!/{entry}，不能被 File 找到，所以需要采用数据流的形式getClass().getClassLoader.getResource(&quot;filename&quot;).openStream()即可。
以...]]></description><category></category></item><item><title><![CDATA[mac 出现 Operation Not Permitted]]></title><link>https://blog.youkuaiyun.com/narata1/article/details/87865623</link><guid>https://blog.youkuaiyun.com/narata1/article/details/87865623</guid><author>narata1</author><pubDate>Thu, 21 Feb 2019 17:49:49 +0800</pubDate><description><![CDATA[
重启电脑，按下 Command + R 直到听到开机声音，此时电脑会进入恢复模式（Recovery Mode）
当 OSX 工具出现在屏幕中时，下拉工具（Utilities）菜单，选择终端（Terminal）
键入 csrutil disable，回车
电脑重启后，SIP 就关闭了


...]]></description><category></category></item><item><title><![CDATA[Java 集合：Set、Map、List、Queue 知识点总结 思维导图]]></title><link>https://blog.youkuaiyun.com/narata1/article/details/87865392</link><guid>https://blog.youkuaiyun.com/narata1/article/details/87865392</guid><author>narata1</author><pubDate>Thu, 21 Feb 2019 17:39:26 +0800</pubDate><description><![CDATA[原始mmap及html文件链接：https://github.com/narata/Interview-Knowledge


]]></description><category></category></item><item><title><![CDATA[Java 多线程 思维导图]]></title><link>https://blog.youkuaiyun.com/narata1/article/details/87865166</link><guid>https://blog.youkuaiyun.com/narata1/article/details/87865166</guid><author>narata1</author><pubDate>Thu, 21 Feb 2019 17:29:39 +0800</pubDate><description><![CDATA[原始mmap及html文件链接：https://github.com/narata/Interview-Knowledge

]]></description><category></category></item><item><title><![CDATA[Java 常量池思维导图]]></title><link>https://blog.youkuaiyun.com/narata1/article/details/87865091</link><guid>https://blog.youkuaiyun.com/narata1/article/details/87865091</guid><author>narata1</author><pubDate>Thu, 21 Feb 2019 17:26:30 +0800</pubDate><description><![CDATA[原始mmap及html文件链接：https://github.com/narata/Interview-Knowledge


]]></description><category></category></item><item><title><![CDATA[高频面试知识 思维导图 流程图等]]></title><link>https://blog.youkuaiyun.com/narata1/article/details/87864855</link><guid>https://blog.youkuaiyun.com/narata1/article/details/87864855</guid><author>narata1</author><pubDate>Thu, 21 Feb 2019 17:17:33 +0800</pubDate><description><![CDATA[高频面试知识 思维导图 流程图等
目录结构：

Java
数据库
数据结构
网络

文件列表：


Java

Java内存管理（分配与回收）
常量池
多线程
集合
线程池
虚拟机性能监控与故障分析
线程安全与锁优化



数据库

SQL语句



网络

DNS解析
HTTP与HTTPS
TCP



数据结构


链接：https://github.com/narata/Interview-...]]></description><category></category></item><item><title><![CDATA[git push 或 pull 出错：refusing to merge unrelated histories]]></title><link>https://blog.youkuaiyun.com/narata1/article/details/87864483</link><guid>https://blog.youkuaiyun.com/narata1/article/details/87864483</guid><author>narata1</author><pubDate>Thu, 21 Feb 2019 17:04:25 +0800</pubDate><description><![CDATA[关联本地项目到新建github空项目后，pull及push提示如下错误

Git Pull Failed
* branch            master     -&amp;amp;gt; FETCH_HEAD
= [up to date]      master     -&amp;amp;gt; origin/master
refusing to merge unrelated histories

或者

Push ...]]></description><category></category></item><item><title><![CDATA[读取本地ORC文件，返回OrcStruct列表]]></title><link>https://blog.youkuaiyun.com/narata1/article/details/87863375</link><guid>https://blog.youkuaiyun.com/narata1/article/details/87863375</guid><author>narata1</author><pubDate>Thu, 21 Feb 2019 16:22:25 +0800</pubDate><description><![CDATA[import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hive.ql.exec.vector.VectorizedRowBatch;
import org.apache.orc.OrcFile;
import org.apache.orc.Rea...]]></description><category></category></item><item><title><![CDATA[Hadoop学习笔记：MapReduce 编程进阶]]></title><link>https://blog.youkuaiyun.com/narata1/article/details/87361376</link><guid>https://blog.youkuaiyun.com/narata1/article/details/87361376</guid><author>narata1</author><pubDate>Fri, 15 Feb 2019 14:42:28 +0800</pubDate><description><![CDATA[数据类型
Hadoop 使用派生于 Writable 接口的类作为 Mapreduce 计算的数据类型。
value 数据类型，必须实现 org.apache.hadoop.io.Writable 接口，此接口确定了如何进行序列化与反序列化。
key 数据类型必须实现 org.apache.hadoop.io.WritableComparable 接口，定义了键的相互比较。
WritableCom...]]></description><category></category></item><item><title><![CDATA[Hadoop 学习笔记：关于 Spark]]></title><link>https://blog.youkuaiyun.com/narata1/article/details/87273527</link><guid>https://blog.youkuaiyun.com/narata1/article/details/87273527</guid><author>narata1</author><pubDate>Thu, 14 Feb 2019 14:50:16 +0800</pubDate><description><![CDATA[Spark 是用于大数据处理的集群计算框架，没有以 MapReduce 作为执行引擎，而是使用了自己的分布式运行环境在集群上执行工作。
Spark 与 Hadoop 紧密集成，他可以在 YARN 上运行，并支持 Hadoop 文件格式及其存储后端（如 HDFS 等）。
Spark 将作业与作业之间产生的大规模的工作数据集存储在内存中，性能比 MapReduce 可高出一个数量级。
从 Spark ...]]></description><category></category></item></channel></rss>