<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[hadoop是什么]]></title><description><![CDATA[hadoop是什么]]></description><link>https://blog.youkuaiyun.com/mnhjyus</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; mnhjyus]]></copyright><item><title><![CDATA[大数据框架Hadoop和Spark的区别关系]]></title><link>https://blog.youkuaiyun.com/mnhjyus/article/details/97687265</link><guid>https://blog.youkuaiyun.com/mnhjyus/article/details/97687265</guid><author>mnhjyus</author><pubDate>Mon, 29 Jul 2019 22:00:06 +0800</pubDate><description><![CDATA[谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。都是与处理数据有关，但是它们又有什么不同呢？

谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。

解决问题的层面不一样

首先，Hadoop和Apache Spark两者都是大数...]]></description><category></category></item><item><title><![CDATA[怎样进行大数据的入门级学习？]]></title><link>https://blog.youkuaiyun.com/mnhjyus/article/details/97687128</link><guid>https://blog.youkuaiyun.com/mnhjyus/article/details/97687128</guid><author>mnhjyus</author><pubDate>Mon, 29 Jul 2019 22:00:04 +0800</pubDate><description><![CDATA[数据科学并没有一个独立的学科体系，统计学，机器学习，数据挖掘，数据库，分布式计算，云计算，信息可视化等技术或方法都可以来对付数据

大数据

从狭义上来看，我认为数据科学就是解决三个问题：

1. data pre-processing;(数据预处理）

2. data interpretation；（数据解读）

3.data modeling and analysis.（数据建模与分析）

这...]]></description><category></category></item><item><title><![CDATA[数据科学家告诉你5个学习大数据的正确姿势！]]></title><link>https://blog.youkuaiyun.com/mnhjyus/article/details/97687057</link><guid>https://blog.youkuaiyun.com/mnhjyus/article/details/97687057</guid><author>mnhjyus</author><pubDate>Mon, 29 Jul 2019 22:00:02 +0800</pubDate><description><![CDATA[对于数据科学来说，现在是发展的黄金时期。这是个新领域，但增长迅速，同时数据科学家的缺口也很大，据说他们的平均年薪可以达到10万美元。哪里有高薪，哪里就吸引人们，但是数据科学技能的差距意味着许多人需要努力学习。

第一步当然是询问“我怎么学习数据科学”，这个问题的答案往往是一长串的课程和书籍阅读，从线性代数到统计数据，这几年我也是这样学习过来的。我没有编程背景，但我知道我喜欢处理数据。

我比较不能...]]></description><category></category></item><item><title><![CDATA[大数据框架hadoop全面解析，不浪费每一分性能]]></title><link>https://blog.youkuaiyun.com/mnhjyus/article/details/97686969</link><guid>https://blog.youkuaiyun.com/mnhjyus/article/details/97686969</guid><author>mnhjyus</author><pubDate>Mon, 29 Jul 2019 22:00:01 +0800</pubDate><description><![CDATA[Hadoop平台上有各种各样的运维度量对任务状态、错误、计算资源、存储等进行测量，从而帮助用户了解平台的健康状况，进而提高用户体验。

对于产品经理来讲，了解产品的使用情况是最为重要的事情之一。不过，对于Hadoop平台这样的产品来讲这件事情就有点飘忽不定了。Hadoop平台上有各种各样的运维度量对任务状态、错误、计算资源、存储等进行测量，从而帮助用户了解平台的健康状况，进而提高用户体验。对于消费...]]></description><category></category></item><item><title><![CDATA[大数据框架基础入门Hadoop教程]]></title><link>https://blog.youkuaiyun.com/mnhjyus/article/details/95794758</link><guid>https://blog.youkuaiyun.com/mnhjyus/article/details/95794758</guid><author>mnhjyus</author><pubDate>Sat, 27 Jul 2019 11:57:53 +0800</pubDate><description><![CDATA[Hadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。

“90％的世界数据在过去的几年中产生”。

由于新技术，设备和类似的社交网站通信装置的出现，人类产生的数据量每年都在迅速增长。美国从一开始的时候到2003年产生的数据量为5十亿千兆字节。如果以堆放的数据磁盘的形式，它可以...]]></description><category></category></item><item><title><![CDATA[大数据框架基础入门Hadoop大数据解决方案]]></title><link>https://blog.youkuaiyun.com/mnhjyus/article/details/95796115</link><guid>https://blog.youkuaiyun.com/mnhjyus/article/details/95796115</guid><author>mnhjyus</author><pubDate>Sat, 27 Jul 2019 11:57:46 +0800</pubDate><description><![CDATA[传统的企业方法

在这种方法中，一个企业将有一个计算机存储和处理大数据。对于存储而言，程序员会自己选择的数据库厂商，如Oracle，IBM等的帮助下完成，用户交互使用应用程序进而获取并处理数据存储和分析。



局限性

这种方式能完美地处理那些可以由标准的数据库服务器来存储，或直至处理数据的处理器的限制少的大量数据应用程序。但是，当涉及到处理大量的可伸缩数据，这是一个繁忙的任务，只能通过单一的数...]]></description><category></category></item><item><title><![CDATA[大数据框架基础入门Hadoop是什么？]]></title><link>https://blog.youkuaiyun.com/mnhjyus/article/details/95794819</link><guid>https://blog.youkuaiyun.com/mnhjyus/article/details/95794819</guid><author>mnhjyus</author><pubDate>Sat, 27 Jul 2019 11:57:40 +0800</pubDate><description><![CDATA[Hadoop是使用Java编写，允许分布在集群，使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。 Hadoop框架应用工程提供跨计算机集群的分布式存储和计算的环境。 Hadoop是专为从单一服务器到上千台机器扩展，每个机器都可以提供本地计算和存储。

Hadoop的架构

在其核心，Hadoop主要有两个层次，即：

加工/计算层(MapReduce)，以及
	存储层(Hadoo...]]></description><category></category></item><item><title><![CDATA[大数据框架基础入门Hadoop环境安装设置]]></title><link>https://blog.youkuaiyun.com/mnhjyus/article/details/95796481</link><guid>https://blog.youkuaiyun.com/mnhjyus/article/details/95796481</guid><author>mnhjyus</author><pubDate>Sat, 27 Jul 2019 11:57:32 +0800</pubDate><description><![CDATA[Hadoop由GNU/Linux平台支持(建议)。因此，需要安装一个Linux操作系统并设置Hadoop环境。如果有Linux操作系统等，可以把它安装在VirtualBox(要具备在 VirtualBox内安装Linux经验，没有装过也可以学习试着来)。

安装前设置

在安装Hadoop之前，需要进入Linux环境下，连接Linux使用SSH(安全Shell)。按照下面提供的步骤设立Linux环...]]></description><category></category></item><item><title><![CDATA[大数据零基础入门问题答疑汇总]]></title><link>https://blog.youkuaiyun.com/mnhjyus/article/details/97424696</link><guid>https://blog.youkuaiyun.com/mnhjyus/article/details/97424696</guid><author>mnhjyus</author><pubDate>Fri, 26 Jul 2019 22:00:01 +0800</pubDate><description><![CDATA[根据最新的Garter大数据产业网络播报，整整有15%的受访者仍然把“了解大数据是什么”视作他们的前三大挑战之一。

前几天我因为社交网站得以和一个老朋友重新取得联系，星期天时他从费城赶到挪威来，就为了约我给他解答一个问题，我想这个问题对他来说一定很重要。他问：“Jane，你说你是做大数据分析的，那大数据到底是什么呢?”

他是一个IT人，了解关于电脑的大部分知识，但是因为有太多人在尝试定义大数据...]]></description><category></category></item><item><title><![CDATA[7种最常见的大数据框架Hadoop和Spark项目]]></title><link>https://blog.youkuaiyun.com/mnhjyus/article/details/97424617</link><guid>https://blog.youkuaiyun.com/mnhjyus/article/details/97424617</guid><author>mnhjyus</author><pubDate>Fri, 26 Jul 2019 21:59:59 +0800</pubDate><description><![CDATA[有一句古老的格言是这样说的，如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情，他们最终却会做别人正在做的事情。如比较火爆的Hadoop、Spark和Storm，每个人都认为他们正在做一些与这些新的大数据技术相关的事情，但它不需要很长的时间遇到相同的模式。具体的实施可能有所不同，但根据我的经验，它们是最常见的七种项目。

项目一：数据整合

称之为“企业级数据中心”或“数据湖”，这个...]]></description><category></category></item><item><title><![CDATA[大数据是如何定义，多大的数据是大数据？]]></title><link>https://blog.youkuaiyun.com/mnhjyus/article/details/97424534</link><guid>https://blog.youkuaiyun.com/mnhjyus/article/details/97424534</guid><author>mnhjyus</author><pubDate>Fri, 26 Jul 2019 21:59:56 +0800</pubDate><description><![CDATA[大数据是什么？

多大的数据叫大数据?

很多没有接触过大数据的人，都很难清楚地知道，究竟多大的数据量才可以称之为大数据。那么，根据数据收集的端口，企业端与个人端之间，大数据的数量级别是不同的。

企业端(B端)数据近十万的级别，就可以称为大数据;个人端(C端)的大数据要达到千万级别。收集渠道没有特定要求，PC端、移动端或传统渠道都可以，重点要达到这样数量级的有效数据，形成数据服务即可。很有趣，大...]]></description><category></category></item><item><title><![CDATA[Python 3.8 即将到来，这是你需要关注的几大新特性]]></title><link>https://blog.youkuaiyun.com/mnhjyus/article/details/96633348</link><guid>https://blog.youkuaiyun.com/mnhjyus/article/details/96633348</guid><author>mnhjyus</author><pubDate>Sat, 20 Jul 2019 21:30:00 +0800</pubDate><description><![CDATA[ython 是一门广受好评的编程语言，每个版本的更新都会对开发社区带来一定影响。近日，Python 3.8 已进入 beta 2 版本的测试中，各项新特性已经添加完毕，最终版本预计于今年 10 月发布。在发布即将到来前，机器之心总结了 Python 3.8 中几大值得关注的新功能和改进。


从事计算机领域工作的读者朋友对 Python 编程语言应该非常熟悉了。这是一门广受好评的动态编程语言，其...]]></description><category></category></item><item><title><![CDATA[一个简单的dos命令实现无限弹窗，卡死电脑]]></title><link>https://blog.youkuaiyun.com/mnhjyus/article/details/96633167</link><guid>https://blog.youkuaiyun.com/mnhjyus/article/details/96633167</guid><author>mnhjyus</author><pubDate>Sat, 20 Jul 2019 21:29:57 +0800</pubDate><description><![CDATA[教大家一个简单的dos命令实现无限弹窗，从而实现卡死电脑。

1.新建一个文本文件



2.在该文件里面输入


: start

start cmd

goto start




3.保存后并把此文件的.txt后缀改为.bat



提示：如果你的计算机不显示后缀拓展名，首先应先让显示拓展名再进行操作



4.双击你刚新建的bat文件，效果如下



过了一会就卡成这样



（本演示完全...]]></description><category></category></item><item><title><![CDATA[你在公司项目里面看过哪些操蛋的代码？]]></title><link>https://blog.youkuaiyun.com/mnhjyus/article/details/96633025</link><guid>https://blog.youkuaiyun.com/mnhjyus/article/details/96633025</guid><author>mnhjyus</author><pubDate>Sat, 20 Jul 2019 21:29:54 +0800</pubDate><description><![CDATA[String result;
......
return result.toString();

这种算吗？大家尽情吐槽吧

Cyandev 的分享


if (m_doc-&gt;isModified() == true)
{
 for (int i = 0; i &lt; 100; i++)
 {
 save();
//Save the document for 100 times to e...]]></description><category></category></item><item><title><![CDATA[上司招了一个For循环都看不懂的人，我该如何自处？]]></title><link>https://blog.youkuaiyun.com/mnhjyus/article/details/96632924</link><guid>https://blog.youkuaiyun.com/mnhjyus/article/details/96632924</guid><author>mnhjyus</author><pubDate>Sat, 20 Jul 2019 21:29:52 +0800</pubDate><description><![CDATA[跟老大一起面试，十来年工作经验了，面试的时候我觉得他技术不好，但是老大判断能做事，缺人历害，非要招进来。进来要我带，业务一遍遍讲，代码一点点说，Maven打包、连Git怎么用也要教，两周了，我才发现他连方法返回值会打断For循环都不知道（过去这十几年他怎么过的？据我所了解的语言return都会打断for循环的呀）。

唉，心累，我该怎么做？

就是这里他看不懂，是我的代码太糟糕，太次的原因吗？

...]]></description><category></category></item><item><title><![CDATA[Hadoop MapReduce工作流程]]></title><link>https://blog.youkuaiyun.com/mnhjyus/article/details/96504888</link><guid>https://blog.youkuaiyun.com/mnhjyus/article/details/96504888</guid><author>mnhjyus</author><pubDate>Fri, 19 Jul 2019 22:00:00 +0800</pubDate><description><![CDATA[MapReduce 就是将输入进行分片，交给不同的 Map 任务进行处理，然后由 Reduce 任务合并成最终的解。

MapReduce 的实际处理过程可以分解为 Input、Map、Sort、Combine、Partition、Reduce、Output 等阶段，具体的工作流程如图 1 所示。


图 1 MapReduce 的工作流程

Hadoop MapReduce工作流程

在 In...]]></description><category></category></item><item><title><![CDATA[大数据框架Hadoop MapReduce架构]]></title><link>https://blog.youkuaiyun.com/mnhjyus/article/details/96504846</link><guid>https://blog.youkuaiyun.com/mnhjyus/article/details/96504846</guid><author>mnhjyus</author><pubDate>Fri, 19 Jul 2019 21:59:58 +0800</pubDate><description><![CDATA[Hadoop MapReduce 是 Hadoop 平台根据 MapReduce 原理实现的计算框架，目前已经实现了两个版本，MapReduce 1.0 和基于 YARN 结构的 MapReduce 2.0。

尽管 MapReduce 1.0 中存在一些问题，但是整体架构比较清晰，更适合初学者理解 MapReduce 的核心概念。所以，本教程首先使用 MapReduce 1.0 来介绍 MapR...]]></description><category></category></item><item><title><![CDATA[大数据框架基础入门Hadoop命令参考]]></title><link>https://blog.youkuaiyun.com/mnhjyus/article/details/95795020</link><guid>https://blog.youkuaiyun.com/mnhjyus/article/details/95795020</guid><author>mnhjyus</author><pubDate>Sat, 13 Jul 2019 21:59:55 +0800</pubDate><description><![CDATA[在“$HADOOP_HOME/bin/hadoop fs” 里有更多的命令。./bin/hadoop DFS 列出所有可以使用在FsShell系统上运行的命令。此外，$HADOOP_HOME/bin/hadoop fs -help 命令名称会显示一个简短的用法。

所有表的操作如下所示。以下是使用参数一般方式：


  "&lt;path&gt;" means any file or direct...]]></description><category></category></item><item><title><![CDATA[大数据框架基础入门Hadoop HDFS操作]]></title><link>https://blog.youkuaiyun.com/mnhjyus/article/details/95795633</link><guid>https://blog.youkuaiyun.com/mnhjyus/article/details/95795633</guid><author>mnhjyus</author><pubDate>Sat, 13 Jul 2019 21:59:53 +0800</pubDate><description><![CDATA[启动HDFS

首先，格式化配置HDFS文件系统，打开NameNode(HDFS服务器)，然后执行以下命令。


  $ hadoop namenode -format

格式化HDFS后，启动分布式文件系统。以下命令将启动名称节点和数据节点的集群。


  $ start-dfs.sh

HDFS的文件列表

加载服务器信息后，使用’ls’ 可以找出文件列表中的目录，文件状态。下面给出的是ls，...]]></description><category></category></item><item><title><![CDATA[大数据框架基础入门Hadoop HDFS]]></title><link>https://blog.youkuaiyun.com/mnhjyus/article/details/95794940</link><guid>https://blog.youkuaiyun.com/mnhjyus/article/details/95794940</guid><author>mnhjyus</author><pubDate>Sat, 13 Jul 2019 21:59:51 +0800</pubDate><description><![CDATA[Hadoop文件系统使用分布式文件系统设计开发。它是运行在普通硬件。不像其他的分布式系统，HDFS是高度容错以及使用低成本的硬件设计。

HDFS拥有超大型的数据量，并提供更轻松地访问。为了存储这些庞大的数据，这些文件都存储在多台机器。这些文件都存储以冗余的方式来拯救系统免受可能的数据损失，在发生故障时。 HDFS也使得可用于并行处理的应用程序。

HDFS的特点

它适用于在分布式存储和处理。
...]]></description><category></category></item></channel></rss>