<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[magicchu的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/magicchu</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; magicchu]]></copyright><item><title><![CDATA[Nodemanager Unhealthy（exit code :143/35）]]></title><link>https://blog.youkuaiyun.com/magicchu/article/details/126717696</link><guid>https://blog.youkuaiyun.com/magicchu/article/details/126717696</guid><author>magicchu</author><pubDate>Tue, 06 Sep 2022 09:54:42 +0800</pubDate><description><![CDATA[exit code:35 导致NM不可用]]></description><category></category></item><item><title><![CDATA[shuffle文件损坏导致nodemanager重启失败]]></title><link>https://blog.youkuaiyun.com/magicchu/article/details/126598734</link><guid>https://blog.youkuaiyun.com/magicchu/article/details/126598734</guid><author>magicchu</author><pubDate>Tue, 30 Aug 2022 10:56:05 +0800</pubDate><description><![CDATA[NM重启失败]]></description><category></category></item><item><title><![CDATA[hive数据导入es外表，报错java.lang.IndexOutOfBoundsException:Index:74,Size:74]]></title><link>https://blog.youkuaiyun.com/magicchu/article/details/126483274</link><guid>https://blog.youkuaiyun.com/magicchu/article/details/126483274</guid><author>magicchu</author><pubDate>Tue, 23 Aug 2022 14:11:40 +0800</pubDate><description><![CDATA[hive-es外表，导数任务报错java.lang.IndexOutOfBoundsException:Index:74,Size:74]]></description><category></category></item><item><title><![CDATA[hbase无法建表：org.apache.hadoop.hbase.PleaseHoldException: Master is initializing]]></title><link>https://blog.youkuaiyun.com/magicchu/article/details/125787912</link><guid>https://blog.youkuaiyun.com/magicchu/article/details/125787912</guid><author>magicchu</author><pubDate>Thu, 14 Jul 2022 17:15:50 +0800</pubDate><description><![CDATA[HBASE Master is initializing]]></description><category></category></item><item><title><![CDATA[Tensorflow小结]]></title><link>https://blog.youkuaiyun.com/magicchu/article/details/79883871</link><guid>https://blog.youkuaiyun.com/magicchu/article/details/79883871</guid><author>magicchu</author><pubDate>Thu, 14 Jul 2022 16:41:45 +0800</pubDate><description><![CDATA[Tensorflow通常构建步骤]]></description><category></category></item><item><title><![CDATA[Flink参数总结]]></title><link>https://blog.youkuaiyun.com/magicchu/article/details/125678866</link><guid>https://blog.youkuaiyun.com/magicchu/article/details/125678866</guid><author>magicchu</author><pubDate>Fri, 08 Jul 2022 16:10:32 +0800</pubDate><description><![CDATA[Flink参数总结]]></description><category></category></item><item><title><![CDATA[Flink知识汇总]]></title><link>https://blog.youkuaiyun.com/magicchu/article/details/125680216</link><guid>https://blog.youkuaiyun.com/magicchu/article/details/125680216</guid><author>magicchu</author><pubDate>Fri, 08 Jul 2022 16:09:50 +0800</pubDate><description><![CDATA[本文收集Flink开发过程中遇到的问题及对应的解决方案，持续更新中]]></description><category></category></item><item><title><![CDATA[HDFS知识点整理]]></title><link>https://blog.youkuaiyun.com/magicchu/article/details/111361854</link><guid>https://blog.youkuaiyun.com/magicchu/article/details/111361854</guid><author>magicchu</author><pubDate>Fri, 18 Dec 2020 14:40:12 +0800</pubDate><description><![CDATA[NameNode元数据管理

NN的元数据是在内存中进行管理的，通过fsimage和edits log来进行磁盘化
NN启动时加载一次fsimage到内存中
对HDFS的操作会记录在Edits Log中，并且每个操作都有一个事务号，edits log文件就是以起始和末尾的事务号命名的。比如下图中的文件，记录的就是942391-942478的事务。

edits log和fsimage之间通过checkpoint来实现同步，把edits log中的最新数据同步到fsimage中，可以观察fsimage的事务编]]></description><category></category></item><item><title><![CDATA[CDH集群常用通信端口汇总]]></title><link>https://blog.youkuaiyun.com/magicchu/article/details/109391220</link><guid>https://blog.youkuaiyun.com/magicchu/article/details/109391220</guid><author>magicchu</author><pubDate>Fri, 30 Oct 2020 19:08:34 +0800</pubDate><description><![CDATA[Hadoop:
50070：HDFS WEB UI端口

8020 ： 高可用的HDFS RPC端口

9000 ： 非高可用的HDFS RPC端口

8088 ： Yarn 的WEB UI 接口

8485 ： JournalNode 的RPC端口

8019 ： ZKFC端口

19888：jobhistory WEB UI端口
Zookeeper:
2181 ： 客户端连接zookeeper的端口

2888 ： zookeeper集群内通讯使用，Leader监听此端口

3888 ： zookeep]]></description><category></category></item><item><title><![CDATA[CDH参数]]></title><link>https://blog.youkuaiyun.com/magicchu/article/details/109205732</link><guid>https://blog.youkuaiyun.com/magicchu/article/details/109205732</guid><author>magicchu</author><pubDate>Wed, 21 Oct 2020 18:03:22 +0800</pubDate><description><![CDATA[HDFS

hdfs block存储位置：dfs.datanode.data.dir
fsimage存储位置：dfs.namenode.name.dir
edits log存储位置：dfs.namenode.edits.dir
DN每块磁盘不能被hdfs使用的空间：dfs.datanode.du.reserved
默认10GB，一般建议单盘空间25%
bolck块大小：dfs.blocksize
bolck副本数：dfs.replication

Yarn

日志汇聚功能：yarn.log-aggregat]]></description><category></category></item><item><title><![CDATA[CDH6中的各种目录]]></title><link>https://blog.youkuaiyun.com/magicchu/article/details/108885974</link><guid>https://blog.youkuaiyun.com/magicchu/article/details/108885974</guid><author>magicchu</author><pubDate>Wed, 30 Sep 2020 17:00:13 +0800</pubDate><description><![CDATA[Service Monitor：
Service Monitor存储了时间序列和健康数据。Impla查询的元数据，Yarn应用的元数据。默认情况下，数据时存储在/var/lib/cloudera-service-monitor/文件夹下。
Host Monitor：
Host Monitor存储了时间序列和健康数据。默认情况下，数据存储在/var/lib/cloudera-host-monitor/文件夹下。
cloudera官网介绍
server/agent日志
/var/log/cloudera-scm]]></description><category></category></item><item><title><![CDATA[CDH环境问题（持续更新。。。）]]></title><link>https://blog.youkuaiyun.com/magicchu/article/details/108871463</link><guid>https://blog.youkuaiyun.com/magicchu/article/details/108871463</guid><author>magicchu</author><pubDate>Tue, 29 Sep 2020 17:01:25 +0800</pubDate><description><![CDATA[环境
CDH 6.1.0
centos7
五台VM虚拟机，内网
添加节点
在VM中克隆已有节点，将克隆后的节点通过Cloudera Manager 添加到集群中，安装过程中报错：安装失败。 无法接收 Agent 发出的检测信号。排查日志发现连接不上管理节点7182端口：Heartbeating to master:7182 failed。 但是telnet可以通。卸载agent后重装也不行。
原因是，这台虚拟机是克隆别的节点的，已经有agent的UUID了，和别的节点冲突，
首次启动Agent，它会生成一个]]></description><category></category></item><item><title><![CDATA[CDH6集群迁移（IP地址更改）操作文档]]></title><link>https://blog.youkuaiyun.com/magicchu/article/details/108867378</link><guid>https://blog.youkuaiyun.com/magicchu/article/details/108867378</guid><author>magicchu</author><pubDate>Tue, 29 Sep 2020 14:09:59 +0800</pubDate><description><![CDATA[CDH6集群迁移（IP地址更改）操作文档1、更改IP地址：2、更改host:3、server节点上修改MySQL数据库，4、更改agent配置5、更改yum仓库地址6、检查ntp配置7、检查ssh是否能连通8、启动server、agent：
1、更改IP地址：
vi /etc/sysconfig/network-scripts/ifcng-ens33
2、更改host:
vi /etc/hosts
3、server节点上修改MySQL数据库，
mysql -u root -p
use scm;
select]]></description><category></category></item><item><title><![CDATA[MapReduce提交job到Yarn的流程学习]]></title><link>https://blog.youkuaiyun.com/magicchu/article/details/103388443</link><guid>https://blog.youkuaiyun.com/magicchu/article/details/103388443</guid><author>magicchu</author><pubDate>Wed, 04 Dec 2019 16:04:14 +0800</pubDate><description><![CDATA[引言

以MapReduce为例，提交一个MapReduce application的大致流程如下，其中Resource Manager简写为RM，Node Manager简写为NM，Application Master简写为AM。

Top↑

提交application大致流程

（1）首先client里执行一个MapReduce程序，这个程序运行在client端的JVM里，在main方法中最...]]></description><category></category></item><item><title><![CDATA[PySpark Aggregrate函数用法]]></title><link>https://blog.youkuaiyun.com/magicchu/article/details/79714258</link><guid>https://blog.youkuaiyun.com/magicchu/article/details/79714258</guid><author>magicchu</author><pubDate>Tue, 27 Mar 2018 16:13:19 +0800</pubDate><description><![CDATA[Spark官方文档中解释为：seqOp操作会聚合各分区中的元素，然后combOp操作把所有分区的聚合结果再次聚合，两个操作的初始值都是zeroValue.   seqOp的操作是遍历分区中的所有元素(T)，第一个T跟zeroValue做操作，结果再作为与第二个T做操作的zeroValue，直到遍历完整个分区。combOp操作是把各分区聚合的结果，再聚合。aggregate函数返回一个跟RDD不同类...]]></description><category></category></item><item><title><![CDATA[Scala-"_"的用法]]></title><link>https://blog.youkuaiyun.com/magicchu/article/details/52288550</link><guid>https://blog.youkuaiyun.com/magicchu/article/details/52288550</guid><author>magicchu</author><pubDate>Tue, 23 Aug 2016 10:21:11 +0800</pubDate><description><![CDATA[1、作为“通配符”，类似Java中的*。如import scala.math._2、:_*作为一个整体，告诉编译器你希望将某个参数当作参数序列处理！例如val s = sum(1 to 5:_*)就是将1 to 5当作参数序列处理。3、指代一个集合中的每个元素。例如我们要在一个Array a中筛出偶数，并乘以2，可以用以下办法： 
a.filter(%2==0).map(2*)。 
又如要对缓冲数组]]></description><category></category></item><item><title><![CDATA[Scala学习笔记—语法]]></title><link>https://blog.youkuaiyun.com/magicchu/article/details/52247419</link><guid>https://blog.youkuaiyun.com/magicchu/article/details/52247419</guid><author>magicchu</author><pubDate>Fri, 19 Aug 2016 10:29:54 +0800</pubDate><description><![CDATA[match case结构中要注意case的顺序，例如定义运算法则时就要把加减放在乘除前面]]></description><category></category></item><item><title><![CDATA[Linux命令笔记]]></title><link>https://blog.youkuaiyun.com/magicchu/article/details/52237504</link><guid>https://blog.youkuaiyun.com/magicchu/article/details/52237504</guid><author>magicchu</author><pubDate>Thu, 18 Aug 2016 09:06:48 +0800</pubDate><description><![CDATA[添加定时任务：crontab -e，在文件中写属于当前用户的定时任务，输入如下内容：  
23 11 10 02 * /mnt/kettle/test.sh        其中 23为分钟，11为小时，10为日，02为月，*为星期几
centos 7定时任务重启：/bin/systemctl restart  crond.service]]></description><category></category></item><item><title><![CDATA[scala 学习笔记--对象]]></title><link>https://blog.youkuaiyun.com/magicchu/article/details/52212084</link><guid>https://blog.youkuaiyun.com/magicchu/article/details/52212084</guid><author>magicchu</author><pubDate>Mon, 15 Aug 2016 16:07:21 +0800</pubDate><description><![CDATA[一、对象 
    1.伴生对象：与类同名的对象，类和它的伴生对象可以相互访问私有特性，但是它们必须存在于同一个源文件中。 
    2.对象的apply方法：经常被用在伴生对象中，可以不用构造器，省去new关键字，方便很多。注意Array(100)与new Array(100)的区别：

Array(100)  //调用的是apply(100)，输出一个只含有一个元素（100）的Array
ne]]></description><category></category></item><item><title><![CDATA[不平衡数据分类方法总结]]></title><link>https://blog.youkuaiyun.com/magicchu/article/details/52034105</link><guid>https://blog.youkuaiyun.com/magicchu/article/details/52034105</guid><author>magicchu</author><pubDate>Tue, 26 Jul 2016 11:42:45 +0800</pubDate><description><![CDATA[传统的分类算法在面向不平衡数据时，效果一般，尤其是对少数类的判断准确率很低，而现实生活中少数类往往是比多数类更有价值的。例如，网络安全预测中，可能1000次通信只有几次是真的网络攻击，但是将正常通信判断为攻击和将攻击判断为正常通信带来的后果是完全不同的，我们其实更在意判断是网络攻击的准确率。
        针对不平衡数据，我们往往从数据和算法两个层面来进行处理：
       （一）数据层面]]></description><category></category></item></channel></rss>