<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[chen_2_2的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/chen_2_2</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; chen_2_2]]></copyright><item><title><![CDATA[通过python实现企业微信公众号链接+图文推送]]></title><link>https://blog.youkuaiyun.com/chen_2_2/article/details/128043197</link><guid>https://blog.youkuaiyun.com/chen_2_2/article/details/128043197</guid><author>chen_2_2</author><pubDate>Fri, 25 Nov 2022 19:49:35 +0800</pubDate><description><![CDATA[通过python实现企业微信公众号图文+链接方式的消息推送]]></description><category></category></item><item><title><![CDATA[运用python实现企业微信群机器人消息推送]]></title><link>https://blog.youkuaiyun.com/chen_2_2/article/details/128042007</link><guid>https://blog.youkuaiyun.com/chen_2_2/article/details/128042007</guid><author>chen_2_2</author><pubDate>Fri, 25 Nov 2022 19:17:17 +0800</pubDate><description><![CDATA[通过企业微信的群机器人+python编码将BI报表精准推送到用户手中]]></description><category></category></item><item><title><![CDATA[-Hive-4-综合实战]]></title><link>https://blog.youkuaiyun.com/chen_2_2/article/details/98471544</link><guid>https://blog.youkuaiyun.com/chen_2_2/article/details/98471544</guid><author>chen_2_2</author><pubDate>Sun, 04 Aug 2019 21:24:36 +0800</pubDate><description><![CDATA[需求
求各个区域下最受欢迎的产品的TOP N
MySQL
city_info：城市信息	
固定的信息一般存储在MySQL
product_info： 产品信息

create table product_info(
product_id int(11),
product_name varchar(50),
extend_info varchar(50)
);
用户行为日志：Hive
create ...]]></description><category></category></item><item><title><![CDATA[-Hive-Apache.org(官网）使用手册]]></title><link>https://blog.youkuaiyun.com/chen_2_2/article/details/98172731</link><guid>https://blog.youkuaiyun.com/chen_2_2/article/details/98172731</guid><author>chen_2_2</author><pubDate>Sun, 04 Aug 2019 21:16:29 +0800</pubDate><description><![CDATA[hive官网：http://hive.apache.org/

]]></description><category></category></item><item><title><![CDATA[-Hive-3-基础]]></title><link>https://blog.youkuaiyun.com/chen_2_2/article/details/98451984</link><guid>https://blog.youkuaiyun.com/chen_2_2/article/details/98451984</guid><author>chen_2_2</author><pubDate>Sun, 04 Aug 2019 19:19:58 +0800</pubDate><description><![CDATA[Build-in Functions
raw data : json
text: id,username,age,gender
json: {“id”:1,“username”:“ruozedata”,“age”,2,“gender”:“unknown”}
json data ==&gt; hive table ==&gt; sql
create table rating_json(json st...]]></description><category></category></item><item><title><![CDATA[-Hive-2-基础]]></title><link>https://blog.youkuaiyun.com/chen_2_2/article/details/98430484</link><guid>https://blog.youkuaiyun.com/chen_2_2/article/details/98430484</guid><author>chen_2_2</author><pubDate>Sun, 04 Aug 2019 19:17:38 +0800</pubDate><description><![CDATA[表
只拷贝表结构，不拷贝表数据
CREATE TABLE ruozedata_emp2 LIKE ruozedata_emp;
show create table xxx(表名）；可看到表结构

拷贝表数据
Create Table As Select (CTAS)
create table ruozedata_emp3 as select empno,ename,deptno from ruoz...]]></description><category></category></item><item><title><![CDATA[-Hive-1-基础+元数据信息]]></title><link>https://blog.youkuaiyun.com/chen_2_2/article/details/96621730</link><guid>https://blog.youkuaiyun.com/chen_2_2/article/details/96621730</guid><author>chen_2_2</author><pubDate>Sun, 04 Aug 2019 19:07:58 +0800</pubDate><description><![CDATA[Hive
访问Hive的方式：A command line tool and JDBC driver

Apache社区的顶级项目
Hive：facebook   解决海量的结构化日志的统计问题
刚开始时是作为Hadoop项目的一个子项目的，后面才单独成为一个项目
Hive是构建在Hadoop之上的数据仓库   适合处理离线
Hive是一个客户端，不是一个集群，把SQL提交到Hadoop集群上去运...]]></description><category></category></item><item><title><![CDATA[-大数据入门-2-Hadoo-MapReduce详解]]></title><link>https://blog.youkuaiyun.com/chen_2_2/article/details/96604792</link><guid>https://blog.youkuaiyun.com/chen_2_2/article/details/96604792</guid><author>chen_2_2</author><pubDate>Sat, 20 Jul 2019 18:20:05 +0800</pubDate><description><![CDATA[mapreduce是hadoop的计算框架，既然是做计算的框架，那么表现形式就是有个输入（input），mapreduce操作这个输入（input），通过本身定义好的计算模型，得到一个输出（output），这个输出就是我们所需要的结果。
我们要学习的就是这个计算模型的运行规则。在运行一个mapreduce计算任务时候，任务过程被分为两个阶段：map阶段和reduce阶段，每个阶段都是用键值对（ke...]]></description><category></category></item><item><title><![CDATA[-大数据入门-2-Hadoop-YARN资源管理]]></title><link>https://blog.youkuaiyun.com/chen_2_2/article/details/96610360</link><guid>https://blog.youkuaiyun.com/chen_2_2/article/details/96610360</guid><author>chen_2_2</author><pubDate>Sat, 20 Jul 2019 17:58:59 +0800</pubDate><description><![CDATA[在YARN中，资源管理由ResourceManager和NodeManager共同完成，其中，ResourceManager中的调度器负 责资源的分配，而NodeManager则负责资源的供给和隔离。
ResourceManager将某个NodeManager上资源分配给任务（这就是所谓的资源调度）后，NodeManager需按 照要求为任务提供相应的资源，甚至保证这些资源应具有独占性，为任务运行...]]></description><category></category></item><item><title><![CDATA[-大数据入门-2-Hadoop-.YARN架构设计]]></title><link>https://blog.youkuaiyun.com/chen_2_2/article/details/96608320</link><guid>https://blog.youkuaiyun.com/chen_2_2/article/details/96608320</guid><author>chen_2_2</author><pubDate>Sat, 20 Jul 2019 17:39:51 +0800</pubDate><description><![CDATA[ResourceManager(RM)：负责对各NM上的资源进行统一管理和调度。将AM分配空闲的Container运行并监控其运行状态。对AM申 请的资源请求分配相应的空闲Container。主要由两个组件构成：调度器和应用程序管理器。
调度器(Scheduler)：调度器根据容量、队列等限制条件（如每个队列分配一定的资源，最多执行一定数量的作业等），将系 统中的资源分配给各个正在运行的应用程序。...]]></description><category></category></item><item><title><![CDATA[-大数据入门-2-Hadoop-split与block的关系]]></title><link>https://blog.youkuaiyun.com/chen_2_2/article/details/96600699</link><guid>https://blog.youkuaiyun.com/chen_2_2/article/details/96600699</guid><author>chen_2_2</author><pubDate>Sat, 20 Jul 2019 16:50:47 +0800</pubDate><description><![CDATA[在hadoop中第二种划分是由InputFormat这个接口来定义的，其中有个getSplits方法。这里就有了一个新的不为人熟知的概念：Split。
Split的作用是什么，Split和Block是什么关系，下面就可以说明清楚。
在Hadoop0.1中，split划分是在JobTracker端完成的，发生在JobInitThread对JobInProgress调用inittasks()的时候；而...]]></description><category></category></item><item><title><![CDATA[-sql语法-2-部门表]]></title><link>https://blog.youkuaiyun.com/chen_2_2/article/details/94593049</link><guid>https://blog.youkuaiyun.com/chen_2_2/article/details/94593049</guid><author>chen_2_2</author><pubDate>Sat, 20 Jul 2019 16:44:32 +0800</pubDate><description><![CDATA[部门表
dept部门表(deptno部门编号/dname部门名称/loc地点)
create table dept (
    deptno numeric(2),
    dname varchar(14),
    loc varchar(13)
);

insert into dept values (10, 'ACCOUNTING', 'NEW YORK');
insert into de...]]></description><category></category></item><item><title><![CDATA[大数据入门-2-Hadoop-小文件有什么危害（hive、spark到hdfs）]]></title><link>https://blog.youkuaiyun.com/chen_2_2/article/details/96599399</link><guid>https://blog.youkuaiyun.com/chen_2_2/article/details/96599399</guid><author>chen_2_2</author><pubDate>Sat, 20 Jul 2019 16:04:56 +0800</pubDate><description><![CDATA[1危害：
1、NameNode需要的内存大大增大，增加NameNode压力，这样会限制了集群的扩展。
2、在HDFS中，小文件的读写处理速度要远远小于大文件
3、Hive中，小文件会开很多map，一个map开一个JVM去执行，所以这些任务的初始化，启动，执行会浪费大量的资源，严重影响性能。
Hive中小文件的预防措施有：
1.使用Sequencefile作为表存储格式，不要用textfile，在一...]]></description><category></category></item><item><title><![CDATA[-大数据入门-2-Hadoop-block损坏恢复]]></title><link>https://blog.youkuaiyun.com/chen_2_2/article/details/95760824</link><guid>https://blog.youkuaiyun.com/chen_2_2/article/details/95760824</guid><author>chen_2_2</author><pubDate>Sat, 20 Jul 2019 15:57:57 +0800</pubDate><description><![CDATA[公众号，照着敲，手机才能打开，哈哈哈哈小陈子加油哦

]]></description><category></category></item><item><title><![CDATA[ruoze data -第一阶段—高危命令整理]]></title><link>https://blog.youkuaiyun.com/chen_2_2/article/details/93608298</link><guid>https://blog.youkuaiyun.com/chen_2_2/article/details/93608298</guid><author>chen_2_2</author><pubDate>Sat, 20 Jul 2019 14:32:29 +0800</pubDate><description><![CDATA[1 rm -rf 强制删除
删除文件或文件夹，切记先确认是否真的不需要。除非自己备份一下
生产上凡是碰见rm -rf强制删除文件夹的 ，路径一定先判断存在不，不存在 就skip（跳过）；存在就rm

2 kill -9
kill -9 $(pgrep -f xxx)
生产上假如非要执行kill杀进程，一定要确认清楚   1.该进程是否真的杀？需求确认清楚，多问问领导和同事。       2.杀的进...]]></description><category></category></item><item><title><![CDATA[-大数据入门-2-Hadoop-YARN and MapReduce的【内存】优化配置详解]]></title><link>https://blog.youkuaiyun.com/chen_2_2/article/details/96461581</link><guid>https://blog.youkuaiyun.com/chen_2_2/article/details/96461581</guid><author>chen_2_2</author><pubDate>Sat, 20 Jul 2019 13:54:53 +0800</pubDate><description><![CDATA[http://blog.itpub.net/30089851/viewspace-2127851/

]]></description><category></category></item><item><title><![CDATA[-大数据入门-2-Hadoop-调优配置详解]]></title><link>https://blog.youkuaiyun.com/chen_2_2/article/details/96583765</link><guid>https://blog.youkuaiyun.com/chen_2_2/article/details/96583765</guid><author>chen_2_2</author><pubDate>Sat, 20 Jul 2019 13:49:22 +0800</pubDate><description><![CDATA[YARN的Memory和CPU调优配置详解
Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。
YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。
在YARN集群中，平衡内存、C...]]></description><category></category></item><item><title><![CDATA[-大数据入门-2-Hadoop-shuffle]]></title><link>https://blog.youkuaiyun.com/chen_2_2/article/details/96483096</link><guid>https://blog.youkuaiyun.com/chen_2_2/article/details/96483096</guid><author>chen_2_2</author><pubDate>Sat, 20 Jul 2019 13:19:47 +0800</pubDate><description><![CDATA[1wc案例
过程:
map---shuffle----&gt;reduce  
19/07/13 19:55:31 INFO mapreduce.Job:  map 0% reduce 0%
19/07/13 19:55:42 INFO mapreduce.Job:  map 50% reduce 0%
19/07/13 19:55:43 INFO mapreduce.Job:  map 100%...]]></description><category></category></item><item><title><![CDATA[-大数据入门-2-Hadoop-mapred&yarn常用命令]]></title><link>https://blog.youkuaiyun.com/chen_2_2/article/details/96485115</link><guid>https://blog.youkuaiyun.com/chen_2_2/article/details/96485115</guid><author>chen_2_2</author><pubDate>Sat, 20 Jul 2019 12:52:21 +0800</pubDate><description><![CDATA[maprde常用命令
[hadoop@hadoop001 bin]$ ./mapred --help
Usage: mapred [--config confdir] COMMAND
       where COMMAND is one of:
  pipes                run a Pipes job
  job                  manipulate Map...]]></description><category></category></item><item><title><![CDATA[-大数据入门-2-Hadoop-yarn的调度器]]></title><link>https://blog.youkuaiyun.com/chen_2_2/article/details/96488941</link><guid>https://blog.youkuaiyun.com/chen_2_2/article/details/96488941</guid><author>chen_2_2</author><pubDate>Sat, 20 Jul 2019 12:32:12 +0800</pubDate><description><![CDATA[FIFO 先进先出
Capacity 计算
Fair 公平   生产 大部分
CDH 动态资源池 放置规则
在下图Fair调度器中，从第二个任务提交到获得资源会有一定的延迟，
因为它需要等待第一个任务释放占用的Container。
小任务执行完成之后也会释放自己占用的资源，大任务又获得了全部的系统资源。
最终的效果就是Fair调度器即得到了高的资源利用率又能保证小任务及时完成。
file:///C...]]></description><category></category></item></channel></rss>