<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[workwithwebis3w的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/workwithwebis3w</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; workwithwebis3w]]></copyright><item><title><![CDATA[（九）使用Ansible搭建分布式大数据基础环境-Spark On Yarn分布式集群搭建]]></title><link>https://blog.youkuaiyun.com/workwithwebis3w/article/details/95208472</link><guid>https://blog.youkuaiyun.com/workwithwebis3w/article/details/95208472</guid><author>workwithwebis3w</author><pubDate>Tue, 09 Jul 2019 16:40:35 +0800</pubDate><description><![CDATA[“使用Ansible搭建分布式大数据基础环境”系列文章完整包含了如何使用Ansible这一分布式运维利器，来帮我们快速搭建Hadoop2/Spark2/Hive2/ZooKeeper3/Flink1.7/ElasticSearch5等一整套大数据解决方案。本篇是系列文章的第九篇-Spark On Yarn模式搭建。更多后续文章敬请关注后续文章。
（一）使用Ansible搭建分布式大数据基础环境-环...]]></description><category></category></item><item><title><![CDATA[（八）使用Ansible搭建分布式大数据基础环境-Hive客户端搭建]]></title><link>https://blog.youkuaiyun.com/workwithwebis3w/article/details/95200162</link><guid>https://blog.youkuaiyun.com/workwithwebis3w/article/details/95200162</guid><author>workwithwebis3w</author><pubDate>Tue, 09 Jul 2019 15:27:53 +0800</pubDate><description><![CDATA[“使用Ansible搭建分布式大数据基础环境”系列文章完整包含了如何使用Ansible这一分布式运维利器，来帮我们快速搭建Hadoop2/Spark2/Hive2/ZooKeeper3/Flink1.7/ElasticSearch5等一整套大数据解决方案。本篇是系列文章的第八篇-Hive2安装篇。更多后续文章敬请关注后续文章。
（一）使用Ansible搭建分布式大数据基础环境-环境准备
（二）使用...]]></description><category></category></item><item><title><![CDATA[（七）使用Ansible搭建分布式大数据基础环境-MySQL安装]]></title><link>https://blog.youkuaiyun.com/workwithwebis3w/article/details/95089047</link><guid>https://blog.youkuaiyun.com/workwithwebis3w/article/details/95089047</guid><author>workwithwebis3w</author><pubDate>Tue, 09 Jul 2019 14:22:56 +0800</pubDate><description><![CDATA[“使用Ansible搭建分布式大数据基础环境”系列文章完整包含了如何使用Ansible这一分布式运维利器，来帮我们快速搭建Hadoop2/Spark2/Hive2/ZooKeeper3/Flink1.7/ElasticSearch5等一整套大数据解决方案。本篇是系列文章的第七篇-Hive2安装篇。更多后续文章敬请关注后续文章。
（一）使用Ansible搭建分布式大数据基础环境-环境准备
（二）使用...]]></description><category></category></item><item><title><![CDATA[（六）使用Ansible搭建分布式大数据基础环境-Hadoop高可用集群搭建]]></title><link>https://blog.youkuaiyun.com/workwithwebis3w/article/details/94757041</link><guid>https://blog.youkuaiyun.com/workwithwebis3w/article/details/94757041</guid><author>workwithwebis3w</author><pubDate>Fri, 05 Jul 2019 19:47:20 +0800</pubDate><description><![CDATA[“使用Ansible搭建分布式大数据基础环境”系列文章完整包含了如何使用Ansible这一分布式运维利器，来帮我们快速搭建Hadoop2/Spark2/Hive2/ZooKeeper3/Flink1.7/ElasticSearch5等一整套大数据解决方案。本篇是系列文章的第六篇。更多后续文章敬请关注后续文章。]]></description><category></category></item><item><title><![CDATA[（五）使用Ansible搭建分布式大数据基础环境-ZooKeeper集群模式搭建]]></title><link>https://blog.youkuaiyun.com/workwithwebis3w/article/details/94640875</link><guid>https://blog.youkuaiyun.com/workwithwebis3w/article/details/94640875</guid><author>workwithwebis3w</author><pubDate>Thu, 04 Jul 2019 18:56:57 +0800</pubDate><description><![CDATA[“使用Ansible搭建分布式大数据基础环境”系列文章完整包含了如何使用Ansible这一分布式运维利器，来帮我们快速搭建Hadoop2/Spark2/Hive2/ZooKeeper3/Flink1.7/ElasticSearch5等一整套大数据解决方案。本篇是系列文章的第五篇。更多后续文章尽请关注。

（一）使用Ansible搭建分布式大数据基础环境-环境准备

（二）使用Ansible搭建分...]]></description><category></category></item><item><title><![CDATA[（四）使用Ansible搭建分布式大数据基础环境-Ansible常用Module介绍]]></title><link>https://blog.youkuaiyun.com/workwithwebis3w/article/details/94638485</link><guid>https://blog.youkuaiyun.com/workwithwebis3w/article/details/94638485</guid><author>workwithwebis3w</author><pubDate>Thu, 04 Jul 2019 18:20:42 +0800</pubDate><description><![CDATA[“使用Ansible搭建分布式大数据基础环境”系列文章完整包含了如何使用Ansible这一分布式运维利器，来帮我们快速搭建Hadoop2/Spark2/Hive2/ZooKeeper3/Flink1.7/ElasticSearch5等一整套大数据解决方案。本篇是系列文章的第四篇。更多后续文章敬请关注。

（一）使用Ansible搭建分布式大数据基础环境-环境准备

（二）使用Ansible搭建分布...]]></description><category></category></item><item><title><![CDATA[（三）使用Ansible搭建分布式大数据基础环境-编写第一个playbook]]></title><link>https://blog.youkuaiyun.com/workwithwebis3w/article/details/94633154</link><guid>https://blog.youkuaiyun.com/workwithwebis3w/article/details/94633154</guid><author>workwithwebis3w</author><pubDate>Thu, 04 Jul 2019 17:50:50 +0800</pubDate><description><![CDATA[“使用Ansible搭建分布式大数据基础环境”列文章完整包含了如何使用Ansible这一分布式运维利器，来帮我们快速搭建Hadoop2/Spark2/Hive2/ZooKeeper3/Flink1.7/ElasticSearch5等一整套大数据解决方案。本篇是系列文章的第三篇。更多后续文章敬请关注。

（一）使用Ansible搭建分布式大数据基础环境-环境准备

（二）使用Ansible搭建分布式...]]></description><category></category></item><item><title><![CDATA[（二）使用Ansible搭建分布式大数据基础环境-Ansible项目创建]]></title><link>https://blog.youkuaiyun.com/workwithwebis3w/article/details/94627277</link><guid>https://blog.youkuaiyun.com/workwithwebis3w/article/details/94627277</guid><author>workwithwebis3w</author><pubDate>Thu, 04 Jul 2019 17:03:07 +0800</pubDate><description><![CDATA[“使用Ansible搭建分布式大数据基础环境”系列文章完整包含了如何使用Ansible这一分布式运维利器，来帮我们快速搭建Hadoop2/Spark2/Hive2/ZooKeeper3/Flink1.7/ElasticSearch5等一整套大数据解决方案。本篇是系列文章的第二篇。更多后续文章尽请关注。

（一）使用Ansible搭建分布式大数据基础环境-环境准备

（二）使用Ansible搭建分布...]]></description><category></category></item><item><title><![CDATA[（一）使用Ansible搭建分布式大数据基础环境-环境准备]]></title><link>https://blog.youkuaiyun.com/workwithwebis3w/article/details/94617764</link><guid>https://blog.youkuaiyun.com/workwithwebis3w/article/details/94617764</guid><author>workwithwebis3w</author><pubDate>Thu, 04 Jul 2019 15:54:18 +0800</pubDate><description><![CDATA[前言：最近几年工作，一直围绕着大数据平台进行业务开发，主流的Hadoop/Hive/Spark/Storm/Kafka/Flink等基础设施都接触过。但是生产的集群无法如测试集群般进行各种自我学习和测试，所以个人就多次尝试搭建测试集群，从一开始跑cloudera的quickstart-vm到独自在阿里云上用多台VM搭建过分布式环境，但是往往也是随着机器的下线，下次要重写搭建集群就又需要重头来，既费...]]></description><category></category></item><item><title><![CDATA[今日头条：任务调度面试题解答]]></title><link>https://blog.youkuaiyun.com/workwithwebis3w/article/details/90694578</link><guid>https://blog.youkuaiyun.com/workwithwebis3w/article/details/90694578</guid><author>workwithwebis3w</author><pubDate>Thu, 30 May 2019 11:49:39 +0800</pubDate><description><![CDATA[今日头条：任务调度面试题解答

题目：

产品经理(PM)有很多好的idea，而这些idea需要程序员实现。现在有N个PM，在某个时间会想出一个 idea，每个 idea 有提出时间、所需时间和优先等级。对于一个PM来说，最想实现的idea首先考虑优先等级高的，相同的情况下优先所需时间最小的，还相同的情况下选择最早想出的，没有 PM 会在同一时刻提出两个 idea。

同时有M个程序员，每个程序员...]]></description><category></category></item><item><title><![CDATA[shell命令替换两种形式]]></title><link>https://blog.youkuaiyun.com/workwithwebis3w/article/details/7622802</link><guid>https://blog.youkuaiyun.com/workwithwebis3w/article/details/7622802</guid><author>workwithwebis3w</author><pubDate>Thu, 30 May 2019 11:43:24 +0800</pubDate><description><![CDATA[一、使用方法

1. 使用反单引号形式的后置引用·cmd·


  script_name=`basename $0`
  echo "The name of this script is $script_name."



2.$(COMMAND)形式已经取代了后置引用"`"




output=$(sed -n /"$1"/p $file)   # 来自于例子"grp.sh". 
   ...]]></description><category></category></item><item><title><![CDATA[Thrift IDL中文说明]]></title><link>https://blog.youkuaiyun.com/workwithwebis3w/article/details/71158897</link><guid>https://blog.youkuaiyun.com/workwithwebis3w/article/details/71158897</guid><author>workwithwebis3w</author><pubDate>Thu, 04 May 2017 10:39:00 +0800</pubDate><description><![CDATA[Thrift IDL标签（空格分隔）： ThriftThrift interface definition language（IDL）可以用来定义Thrift Types。一个IDL文件可以通过Thrift代码生成器用来产生不同语言的代码从而支持IDL文件中声明的结构体和服务。thrift IDL一. Document每个thrift idl包含0个或者更多地headers，headers后面包含0]]></description><category></category></item><item><title><![CDATA[Node.js 简单的MySQL proxy]]></title><link>https://blog.youkuaiyun.com/workwithwebis3w/article/details/51488883</link><guid>https://blog.youkuaiyun.com/workwithwebis3w/article/details/51488883</guid><author>workwithwebis3w</author><pubDate>Tue, 24 May 2016 11:32:46 +0800</pubDate><description><![CDATA[Node.js 简单实现MySQL Proxy标签（空格分隔）： Node.js  Proxy   MySQL公司日常开发区分生产环境和测试环境，本地开发只能连接测试环境，无法连接生产环境，但是有些问题只有在生产环境才能重新，故写了一个简单的mysql proxy，在能够访问生产db的机器上安装后，本地通过代理连接远程生产。 
功能：代理mysql访问（其实不单单实现mysql代理，可以是代理任何t]]></description><category></category></item><item><title><![CDATA[supervisord 启动失败]]></title><link>https://blog.youkuaiyun.com/workwithwebis3w/article/details/50857649</link><guid>https://blog.youkuaiyun.com/workwithwebis3w/article/details/50857649</guid><author>workwithwebis3w</author><pubDate>Fri, 11 Mar 2016 17:17:29 +0800</pubDate><description><![CDATA[supervisord启动失败解决方案]]></description><category></category></item><item><title><![CDATA[Flume 源码学习（二）Channel组件介绍]]></title><link>https://blog.youkuaiyun.com/workwithwebis3w/article/details/50848984</link><guid>https://blog.youkuaiyun.com/workwithwebis3w/article/details/50848984</guid><author>workwithwebis3w</author><pubDate>Thu, 10 Mar 2016 18:18:50 +0800</pubDate><description><![CDATA[Flume 源码学习（二）Channel组件介绍Channel是Flume中第二个组件，也是我们今天学习的对象。]]></description><category></category></item><item><title><![CDATA[Flume 源码学习（一）Source介绍]]></title><link>https://blog.youkuaiyun.com/workwithwebis3w/article/details/50844462</link><guid>https://blog.youkuaiyun.com/workwithwebis3w/article/details/50844462</guid><author>workwithwebis3w</author><pubDate>Thu, 10 Mar 2016 10:50:56 +0800</pubDate><description><![CDATA[Source是Flume NG三大组件的第一个，是数据收集的来源，也是我们今天源码学习的主题。]]></description><category></category></item><item><title><![CDATA[Flume入门]]></title><link>https://blog.youkuaiyun.com/workwithwebis3w/article/details/50828169</link><guid>https://blog.youkuaiyun.com/workwithwebis3w/article/details/50828169</guid><author>workwithwebis3w</author><pubDate>Tue, 08 Mar 2016 16:22:27 +0800</pubDate><description><![CDATA[安装&配置wget http://mirror.bit.edu.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz
tar -xzvf apache-flume-1.6.0-bin.tar.gz
ln -s apache-flume-1.6.0-bin flume
cp conf/flume-env.sh.template conf/flume-e]]></description><category></category></item><item><title><![CDATA[HBase分布式安装指南]]></title><link>https://blog.youkuaiyun.com/workwithwebis3w/article/details/50809286</link><guid>https://blog.youkuaiyun.com/workwithwebis3w/article/details/50809286</guid><author>workwithwebis3w</author><pubDate>Sat, 05 Mar 2016 16:01:12 +0800</pubDate><description><![CDATA[HBase 分布式安装指南第零步：准备机器
master 启动HMaster
masterbackup启动Master Back up
region1: 启动Region Server1
region2： 启动Region Server2 
Zookeeper可以根据需要安装在任意机器
第一步：Hadoop & Zookeeper安装（省略），其中Hbase Master所在机器必须安装有Hado]]></description><category></category></item><item><title><![CDATA[Sqoop 安装指南]]></title><link>https://blog.youkuaiyun.com/workwithwebis3w/article/details/50801628</link><guid>https://blog.youkuaiyun.com/workwithwebis3w/article/details/50801628</guid><author>workwithwebis3w</author><pubDate>Fri, 04 Mar 2016 12:09:18 +0800</pubDate><description><![CDATA[Sqoop 安装指南下载 ，解压，编译wget http://mirrors.cnnic.cn/apache/sqoop/1.4.6/sqoop-1.4.6.tar.gz
tar -xzvf sqoop-1.4.6.tar.gz
ant配置修改conf/sqoop-env-templates.sh#Set path to where bin/hadoop is available
export H]]></description><category></category></item><item><title><![CDATA[Git之仓库迁移]]></title><link>https://blog.youkuaiyun.com/workwithwebis3w/article/details/46290111</link><guid>https://blog.youkuaiyun.com/workwithwebis3w/article/details/46290111</guid><author>workwithwebis3w</author><pubDate>Sun, 31 May 2015 17:47:13 +0800</pubDate><description><![CDATA[如果你想从别的 Git 托管服务那里复制一份源代码到新的 Git 托管服务器上的话，可以通过以下步骤来操作。

1). 从原地址克隆一份裸版本库，比如原本托管于 GitHub。
git clone --bare git://github.com/username/project.git


2). 然后到新的 Git 服务器上创建一个新项目，比如 GitCafe。

3). 以镜像推]]></description><category></category></item></channel></rss>