<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[一棵大树]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/FengqiangDu</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; FengqiangDu]]></copyright><item><title><![CDATA[高斯核函数]]></title><link>https://blog.youkuaiyun.com/FengqiangDu/article/details/102729612</link><guid>https://blog.youkuaiyun.com/FengqiangDu/article/details/102729612</guid><author>FengqiangDu</author><pubDate>Thu, 24 Oct 2019 19:22:23 +0800</pubDate><description><![CDATA[高斯核函数 (Gaussian kernel)，也称径向基 (RBF) 函数，就是某种沿径向对称的标量函数，用于将有限维数据映射到高维空间。通常定义为空间中任意一点到某一中心点之间的欧式距离的单调函数，可记作,其作用往往是局部的 , 即当远离时函数取值很小。

定义为：

                 

为核函数中心，为向量和向量的欧式距离（L2范数）...]]></description><category></category></item><item><title><![CDATA[国内Hadoop开源项目]]></title><link>https://blog.youkuaiyun.com/FengqiangDu/article/details/101720329</link><guid>https://blog.youkuaiyun.com/FengqiangDu/article/details/101720329</guid><author>FengqiangDu</author><pubDate>Sun, 29 Sep 2019 21:56:12 +0800</pubDate><description><![CDATA[1、BC-Hadoop：中国移动Hadoop工具链打包

https://github.com/cmri/bc-hadoop2.0

孵化阶段，将成为一个通用的开源Hadoop平台



2、BC-BSP：中国移动图计算平台

https://github.com/cmri/BC-BSP

孵化阶段，将成为通用的开源BSP平台



3、小米Minos：部署和管理Hadoop生态链工具

Mi...]]></description><category></category></item><item><title><![CDATA[结构化数据、半结构化数据和非结构化数据]]></title><link>https://blog.youkuaiyun.com/FengqiangDu/article/details/99850016</link><guid>https://blog.youkuaiyun.com/FengqiangDu/article/details/99850016</guid><author>FengqiangDu</author><pubDate>Tue, 20 Aug 2019 15:36:41 +0800</pubDate><description><![CDATA[结构化数据
结构化的数据是指可以使用关系型数据库表示和存储，表现为二维形式的数据。一般特点是：数据以行为单位，一行数据表示一个实体的信息，每一行数据的属性是相同的。举一个例子：


id      name    age     gender
1       lyh     12      male
2       liangyh 13      female
3       liang   18...]]></description><category></category></item><item><title><![CDATA[缓存——Redis数据类型，应用场景]]></title><link>https://blog.youkuaiyun.com/FengqiangDu/article/details/96829335</link><guid>https://blog.youkuaiyun.com/FengqiangDu/article/details/96829335</guid><author>FengqiangDu</author><pubDate>Mon, 22 Jul 2019 09:26:36 +0800</pubDate><description><![CDATA[问题

redis 都有哪些数据类型？分别在哪些场景下使用比较合适？

分析

除非是面试官感觉看你简历，是工作 3 年以内的比较初级的同学，可能对技术没有很深入的研究，面试官才会问这类问题。否则，在宝贵的面试时间里，面试官实在不想多问。

其实问这个问题，主要有两个原因：

看看你到底有没有全面的了解 redis 有哪些功能，一般怎么来用，啥场景用什么，就怕你别就会最简单的 KV 操作；
	看看...]]></description><category></category></item><item><title><![CDATA[缓存——Redis]]></title><link>https://blog.youkuaiyun.com/FengqiangDu/article/details/96828730</link><guid>https://blog.youkuaiyun.com/FengqiangDu/article/details/96828730</guid><author>FengqiangDu</author><pubDate>Mon, 22 Jul 2019 09:16:53 +0800</pubDate><description><![CDATA[问题

redis 和 memcached 有什么区别？redis 的线程模型是什么？为什么 redis 单线程却能支撑高并发？

分析

这个是问 redis 的时候，最基本的问题吧，redis 最基本的一个内部原理和特点，就是 redis 实际上是个单线程工作模型，你要是这个都不知道，那后面玩儿 redis 的时候，出了问题岂不是什么都不知道？

还有可能面试官会问问你 redis 和 mem...]]></description><category></category></item><item><title><![CDATA[缓存——项目中缓存是如何使用的？为什么要用缓存？缓存使用不当会造成什么后果？]]></title><link>https://blog.youkuaiyun.com/FengqiangDu/article/details/96475383</link><guid>https://blog.youkuaiyun.com/FengqiangDu/article/details/96475383</guid><author>FengqiangDu</author><pubDate>Fri, 19 Jul 2019 10:25:02 +0800</pubDate><description><![CDATA[问题

项目中缓存是如何使用的？为什么要用缓存？缓存使用不当会造成什么后果？

分析

这个问题，互联网公司必问，要是一个人连缓存都不太清楚，那确实比较尴尬。

只要问到缓存，上来第一个问题，肯定是先问问你项目哪里用了缓存？为啥要用？不用行不行？如果用了以后可能会有什么不良的后果？

这就是看看你对缓存这个东西背后有没有思考，如果你就是傻乎乎的瞎用，没法给面试官一个合理的解答，那面试官对你印象肯定...]]></description><category></category></item><item><title><![CDATA[消息队列——如何进行架构设计？说明思路]]></title><link>https://blog.youkuaiyun.com/FengqiangDu/article/details/96330618</link><guid>https://blog.youkuaiyun.com/FengqiangDu/article/details/96330618</guid><author>FengqiangDu</author><pubDate>Wed, 17 Jul 2019 17:19:00 +0800</pubDate><description><![CDATA[问题

如果让你写一个消息队列，该如何进行架构设计？说一下你的思路。

分析

其实聊到这个问题，一般面试官要考察两块：

你有没有对某一个消息队列做过较为深入的原理的了解，或者从整体了解把握住一个消息队列的架构原理。
	看看你的设计能力，给你一个常见的系统，就是消息队列系统，看看你能不能从全局把握一下整体架构设计，给出一些关键点出来。
说实话，问类似问题的时候，大部分人基本都会蒙，因为平时从来没...]]></description><category></category></item><item><title><![CDATA[消息队列——延迟及过期失效问题？如何解决持续积压？]]></title><link>https://blog.youkuaiyun.com/FengqiangDu/article/details/96310264</link><guid>https://blog.youkuaiyun.com/FengqiangDu/article/details/96310264</guid><author>FengqiangDu</author><pubDate>Wed, 17 Jul 2019 15:04:22 +0800</pubDate><description><![CDATA[问题

如何解决消息队列的延时以及过期失效问题？消息队列满了以后该怎么处理？有几百万消息持续积压几小时，说说怎么解决？

分析

你看这问法，其实本质针对的场景，都是说，可能你的消费端出了问题，不消费了；或者消费的速度极其慢。接着就坑爹了，可能你的消息队列集群的磁盘都快写满了，都没人消费，这个时候怎么办？或者是这整个就积压了几个小时，你这个时候怎么办？或者是你积压的时间太长了，导致比如 Rabbi...]]></description><category></category></item><item><title><![CDATA[windows下关于git本地仓库更新后再push到github报错问题]]></title><link>https://blog.youkuaiyun.com/FengqiangDu/article/details/96273460</link><guid>https://blog.youkuaiyun.com/FengqiangDu/article/details/96273460</guid><author>FengqiangDu</author><pubDate>Wed, 17 Jul 2019 14:44:32 +0800</pubDate><description><![CDATA[安装Git：http://msysgit.github.io/
	
	
	git本地仓库的建立
	
创建项目，新建文件夹，自定义名称。


	初始化仓库
	
git init

git status

在git中，分支是项目的一个版本。我们一般位于分支mater上。接下来进行提交，提交是项目在特定时间点的快照。


	将文件加入到仓库中
	
git add .

git status

将项目...]]></description><category></category></item><item><title><![CDATA[消息队列——如何保证消息的顺序性？]]></title><link>https://blog.youkuaiyun.com/FengqiangDu/article/details/96139151</link><guid>https://blog.youkuaiyun.com/FengqiangDu/article/details/96139151</guid><author>FengqiangDu</author><pubDate>Tue, 16 Jul 2019 15:15:55 +0800</pubDate><description><![CDATA[问题

如何保证消息的顺序性？

分析

其实这个也是用 MQ 的时候必问的话题，第一看看你了不了解顺序这个事儿？第二看看你有没有办法保证消息是有顺序的？这是生产系统中常见的问题。

面试题剖析

我举个例子，我们以前做过一个 mysqlbinlog同步的系统，压力还是非常大的，日同步数据要达到上亿，就是说数据从一个 mysql 库原封不动地同步到另一个 mysql 库里面去（mysql -&...]]></description><category></category></item><item><title><![CDATA[消息队列——如何保证消息的可靠性传输（处理消息丢失问题）]]></title><link>https://blog.youkuaiyun.com/FengqiangDu/article/details/96135254</link><guid>https://blog.youkuaiyun.com/FengqiangDu/article/details/96135254</guid><author>FengqiangDu</author><pubDate>Tue, 16 Jul 2019 14:46:28 +0800</pubDate><description><![CDATA[问题

如何保证消息的可靠性传输？或者说，如何处理消息丢失的问题？

分析

这个是肯定的，用 MQ 有个基本原则，就是数据不能多一条，也不能少一条，不能多，就是前面说的重复消费和幂等性问题。不能少，就是说这数据别搞丢了。那这个问题你必须得考虑一下。

如果说你这个是用 MQ 来传递非常核心的消息，比如说计费、扣费的一些消息，那必须确保这个 MQ 传递过程中绝对不会把计费消息给弄丢。

面试题剖析...]]></description><category></category></item><item><title><![CDATA[消息队列——如何保持消息的幂等性（不被重复消费）]]></title><link>https://blog.youkuaiyun.com/FengqiangDu/article/details/96132918</link><guid>https://blog.youkuaiyun.com/FengqiangDu/article/details/96132918</guid><author>FengqiangDu</author><pubDate>Tue, 16 Jul 2019 14:22:14 +0800</pubDate><description><![CDATA[问题

如何保证消息不被重复消费？或者说，如何保证消息消费的幂等性？

分析

其实这是很常见的一个问题，这俩问题基本可以连起来问。既然是消费消息，那肯定要考虑会不会重复消费？能不能避免重复消费？或者重复消费了也别造成系统异常可以吗？这个是 MQ 领域的基本问题，其实本质上还是问你使用消息队列如何保证幂等性，这个是你架构里要考虑的一个问题。

面试题剖析

回答这个问题，首先你别听到重复消息这个事...]]></description><category></category></item><item><title><![CDATA[消息队列——如何保证消息队列的高可用？]]></title><link>https://blog.youkuaiyun.com/FengqiangDu/article/details/96115862</link><guid>https://blog.youkuaiyun.com/FengqiangDu/article/details/96115862</guid><author>FengqiangDu</author><pubDate>Tue, 16 Jul 2019 11:25:02 +0800</pubDate><description><![CDATA[问题

如何保证消息队列的高可用？

分析

如果有人问到你 MQ 的知识，高可用是必问的。上一讲提到，MQ 会导致系统可用性降低。所以只要你用了 MQ，接下来问的一些要点肯定就是围绕着 MQ 的那些缺点怎么来解决了。

要是你傻乎乎的就干用了一个 MQ，各种问题从来没考虑过，那你就杯具了，面试官对你的感觉就是，只会简单使用一些技术，没任何思考，马上对你的印象就不太好了。这样的同学招进来要是做个 ...]]></description><category></category></item><item><title><![CDATA[消息队列——为什么要使用消息队列？有什么优、缺点？]]></title><link>https://blog.youkuaiyun.com/FengqiangDu/article/details/96114997</link><guid>https://blog.youkuaiyun.com/FengqiangDu/article/details/96114997</guid><author>FengqiangDu</author><pubDate>Tue, 16 Jul 2019 11:17:44 +0800</pubDate><description><![CDATA[问题：

为什么使用消息队列？
	消息队列有什么优点和缺点？
	Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么区别，以及适合哪些场景？
问题分析：


	第一，你知不知道你们系统里为什么要用消息队列这个东西？
	不少候选人，说自己项目里用了 Redis、MQ，但是其实他并不知道自己为什么要用这个东西。其实说白了，就是为了用而用，或者是别人设计的架构，他从头到尾都没思考过...]]></description><category></category></item><item><title><![CDATA[基于 AWS 的web日志分析系统架构]]></title><link>https://blog.youkuaiyun.com/FengqiangDu/article/details/94441696</link><guid>https://blog.youkuaiyun.com/FengqiangDu/article/details/94441696</guid><author>FengqiangDu</author><pubDate>Tue, 02 Jul 2019 14:39:56 +0800</pubDate><description><![CDATA[AWS提供的服务和基础设施能够在云环境中建设可靠，容错和高可用的Web应用程序。在生产环境中，这些应用产生大量的日志信息。这些数据是任何公司运营web应用程序的重要知识来源，分析日志可以揭示信息，如交通模式，用户行为，市场资料等。

然而，作为Web应用程序的增长和的访问者数量的增加，存储和分析网络日志变得越来越具有挑战性。下图展示了如何使用AWS构建一个可扩展且可靠的大规模日志分析平台。该架构的...]]></description><category></category></item><item><title><![CDATA[VMware下虚拟机和windows间文件的复制粘贴]]></title><link>https://blog.youkuaiyun.com/FengqiangDu/article/details/91802019</link><guid>https://blog.youkuaiyun.com/FengqiangDu/article/details/91802019</guid><author>FengqiangDu</author><pubDate>Thu, 13 Jun 2019 10:23:10 +0800</pubDate><description><![CDATA[在VMware下安装Ubuntu虚拟机有一个不方便就是，无法实现虚拟机和windows间文件的复制粘贴，这时需要我们安装安装VMware Tools（虚拟机选项下查看是否安装）

如果未安装，点击，会在虚拟机页面自动弹出DVD文件夹窗口，我们只要解压其中的tar包就可以（可解压到任意文件夹，下面解压到/tmp目录下）：


cp VMwareTools-10.1.6-5214329.tar.gz ...]]></description><category></category></item><item><title><![CDATA[配置yum软件仓库（RHEL7版本为例）]]></title><link>https://blog.youkuaiyun.com/FengqiangDu/article/details/91792794</link><guid>https://blog.youkuaiyun.com/FengqiangDu/article/details/91792794</guid><author>FengqiangDu</author><pubDate>Thu, 13 Jun 2019 09:50:09 +0800</pubDate><description><![CDATA[Yum仓库的作用是进一步简化RPM(redhat package manager) 管理软件的难度以及自动分析所需软件包及其依赖关系的技术。

搭建并配置Yum软件仓库的大致步骤如下所示（RHEL7版本为例）：

第1步：进入到/etc/yum.repos.d/目录（存放着Yum软件仓库的配置文件）。

第2步：使用Vim编辑器创建一个名为rhel7.repo的新配置文件（文件名称可随意，但后缀必...]]></description><category></category></item><item><title><![CDATA[数据库和数据仓库]]></title><link>https://blog.youkuaiyun.com/FengqiangDu/article/details/91462199</link><guid>https://blog.youkuaiyun.com/FengqiangDu/article/details/91462199</guid><author>FengqiangDu</author><pubDate>Tue, 11 Jun 2019 21:07:15 +0800</pubDate><description><![CDATA[1、RDBMS（关系型）

在小型和大型的组织机构中，大多数主要的运营信息主要是存储在关系型数据库管理系统（RDBMS）中。知道什么数据集被存储了以及它们被存储在何处，是大数据实施中的关键构件块。PostgreSQL是最广泛使用的开源数据库，其真正的能力在于它的扩展性。用户和数据库管理员可以添加新的功能，而不影响数据库的基本操作和可靠性。

2、非关系型数据库（“不仅仅是SQL”Not Only ...]]></description><category></category></item><item><title><![CDATA[实例中看一个map、reduce过程]]></title><link>https://blog.youkuaiyun.com/FengqiangDu/article/details/91366071</link><guid>https://blog.youkuaiyun.com/FengqiangDu/article/details/91366071</guid><author>FengqiangDu</author><pubDate>Mon, 10 Jun 2019 11:41:40 +0800</pubDate><description><![CDATA[项目中有约9TB的数据（网络日志、图片），以及10个MapReduce服务器节点。

第一步是使用简单的文件复制过程，为每个服务器节点分配一定量的数据（自己划分）。注意，这些数据须在MapReduce过程开始前被分配好。且文件的格式由自己决定，没有类似于关系型数据库中的标准格式。

接下来，向调度程序提交两个程序：映射程序（map）和归约程序（reduce）。在这两步骤过程中，map在磁盘上找到数...]]></description><category></category></item><item><title><![CDATA[Apache Hadoop 3.2.0 文档：概览]]></title><link>https://blog.youkuaiyun.com/FengqiangDu/article/details/91365657</link><guid>https://blog.youkuaiyun.com/FengqiangDu/article/details/91365657</guid><author>FengqiangDu</author><pubDate>Mon, 10 Jun 2019 11:27:41 +0800</pubDate><description><![CDATA[Apache Hadoop 3.2.0

Apache Hadoop 3.2.0在之前的稳定次要版本（hadoop-3.1）中包含了许多重要的增强功能。

这是3.2版本系列中的第一个版本，尚未普遍可用（GA）或生产就绪。

概观

建议用户阅读完整的发行说明。此页面提供了主要更改的概述。

YARN中的节点属性支持

节点属性有助于根据节点标记节点上的多个标签，并支持根据这些标签的表达式放置容器...]]></description><category></category></item></channel></rss>