<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[大数据框架]]></title><description><![CDATA[大数据框架]]></description><link>https://blog.youkuaiyun.com/haboop</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; haboop]]></copyright><item><title><![CDATA[大数据架构面临技术集成的巨大障碍]]></title><link>https://blog.youkuaiyun.com/haboop/article/details/90032748</link><guid>https://blog.youkuaiyun.com/haboop/article/details/90032748</guid><author>haboop</author><pubDate>Thu, 09 May 2019 14:16:51 +0800</pubDate><description><![CDATA[　企业可以利用Hadoop以及所有与它相关的技术设计大数据环境，以满足其特定的需求。但把所有的技术集成在一起并不是一件容易的事。






　　IT团队寻求构建大数据架构时有大量的技术可供选择，他们可以混合搭配各种技术以满足数据处理和分析需求。但是有一个问题存在：把所有需要的技术框架组合到一起是一项艰巨的任务。



　　在不断扩展的Hadoop生态系统中，选择和部署合适的大数据技术是一个...]]></description><category></category></item><item><title><![CDATA[想充分利用大数据？就要先改变这些操作方式]]></title><link>https://blog.youkuaiyun.com/haboop/article/details/90032676</link><guid>https://blog.youkuaiyun.com/haboop/article/details/90032676</guid><author>haboop</author><pubDate>Thu, 09 May 2019 14:15:20 +0800</pubDate><description><![CDATA[如今，数字革命几乎在每个行业发生，其中包括医疗保健，制造，金融，零售行业等等。组织正在采用传感器，数字记录，云计算和自动化(存在众多其他技术之中)，以简化和改进操作，报告，以及客户服务。这一切的基础是一个稳定的数据流，这是更精确的大量的数据，因为我们知道有可能促进业务的发展。



　　人们处在组织运作方式的模式转变的边缘，这是理所当然的。新技术日益发展，并更加有助于大量的信息。为了利用数据价值，...]]></description><category></category></item><item><title><![CDATA[掌握10到30种技术，只为创建一个大数据解决方案]]></title><link>https://blog.youkuaiyun.com/haboop/article/details/90032581</link><guid>https://blog.youkuaiyun.com/haboop/article/details/90032581</guid><author>haboop</author><pubDate>Thu, 09 May 2019 14:14:19 +0800</pubDate><description><![CDATA[　大数据的应用仍然太难了。尽管有很多的炒作的成分，但大多数企业仍然努力从他们的数据中获得价值。而Dresner咨询服务公司得出结论：“尽管长时间的意识培养和炒作，大数据分析的实际部署目前并不广泛适用于大多数组织。”
　　这是人员的问题。尽管有说服力的数据，企业高管们往往宁愿忽略这些数据。但是，大数据复杂性的一大部分是因为所需要的软件。虽然Spark和其他更新的系统已经改善了轨迹，但大数据基础设施仍...]]></description><category></category></item><item><title><![CDATA[大数据零基础如何入门]]></title><link>https://blog.youkuaiyun.com/haboop/article/details/89892542</link><guid>https://blog.youkuaiyun.com/haboop/article/details/89892542</guid><author>haboop</author><pubDate>Mon, 06 May 2019 21:59:43 +0800</pubDate><description><![CDATA[现在是大数据时代，很多人都想要学习大数据，因为不管是就业前景还是薪资都非常的不错，不少人纷纷从其他行业转型到大数据行业，那么零基础的人也想要学习大数据怎么办呢？下面一起探讨下零基础如何快速入门大数据技巧吧。

很多人都需要学习大数据是需要有一定的基础的，编程语言就是必备的条件之一，编程语言目前热门的有：Java、Python、PHP、C/C++等等，无论是学习哪一门编程语言，总之要精细掌握一门语言...]]></description><category></category></item><item><title><![CDATA[Hadoop之后：大数据的未来]]></title><link>https://blog.youkuaiyun.com/haboop/article/details/89848626</link><guid>https://blog.youkuaiyun.com/haboop/article/details/89848626</guid><author>haboop</author><pubDate>Sun, 05 May 2019 16:32:25 +0800</pubDate><description><![CDATA[　在实时数据世界里，为什么我们还这么执着于Hadoop？根据451 Research调查数据显示，围绕批处理架构的Hadoop仍然是大数据[注]的代表技术，尽管其声誉仍然超过实际部署情况。



　　Hadoop之后：大数据的未来



　　还没有真正部署Hadoop的企业可能想要再等一等。而随着Apache Spark等其他技术（Storm、Kafka等）的出现，我们似乎与Hadoop的批处...]]></description><category></category></item><item><title><![CDATA[五个角度浅析大数据与BI的区别]]></title><link>https://blog.youkuaiyun.com/haboop/article/details/89848590</link><guid>https://blog.youkuaiyun.com/haboop/article/details/89848590</guid><author>haboop</author><pubDate>Sun, 05 May 2019 16:31:10 +0800</pubDate><description><![CDATA[　BI(Business Intelligence)，中文翻译是商务智能，是一套完整的解决方案，用来将组织中现有的数据进行有效的整合，快速准确的提供报表并提出决策依据，帮助组织做出明智的业务经营决策。



　　大数据(Big Data)是从收集的海量数据中，通过算法将这些来自不同渠道、格式的数据进行直接分析，从中寻找到数据之间的相关性。简单而言，大数据更偏重于发现，以及猜测并印证的循环逼近过程...]]></description><category></category></item><item><title><![CDATA[关于大数据分析的四个关键环节]]></title><link>https://blog.youkuaiyun.com/haboop/article/details/89848558</link><guid>https://blog.youkuaiyun.com/haboop/article/details/89848558</guid><author>haboop</author><pubDate>Sun, 05 May 2019 16:29:49 +0800</pubDate><description><![CDATA[什么是大数据



　　随着大数据时代的到来，AI 概念的火热，人们的认知有所提高。为什么说大数据有价值 这是不是只是一个虚的概念 大家怎么考虑数据驱动问题 为什么掌握更多的数据就会更有效 这些问题很难回答，但是，大数据绝不是大而空洞的。



　　信息论之父香农曾表示，信息是用来消除不信任的东西，比如预测明天会不会下雨，如果知道了今天的天气、风速、云层、气压等信息，有助于得出更准确的结论。所...]]></description><category></category></item><item><title><![CDATA[面向大数据的分布式调度]]></title><link>https://blog.youkuaiyun.com/haboop/article/details/89848519</link><guid>https://blog.youkuaiyun.com/haboop/article/details/89848519</guid><author>haboop</author><pubDate>Sun, 05 May 2019 16:28:47 +0800</pubDate><description><![CDATA[一、调度



　　从上个世纪50年代起，调度问题的研究就受到数学、运筹学、工程技术学等领域科学的重视[1]，人们主要从数学的角度来研究调度问题，调度问题也同样被定义为”分配一组资源来执行一组任务”，以获得生产任务执行时间或成本的最优[2]。调度在计算机任务的实现可以依赖操作系统的定时任务进行触发(例如Linux系统的Crontab)，主要针对单任务机制的触发，调度最基本的需要能够按时或者按照事...]]></description><category></category></item><item><title><![CDATA[与大数据密切相关的人工智能，如何才能摆脱“云”的束]]></title><link>https://blog.youkuaiyun.com/haboop/article/details/89848486</link><guid>https://blog.youkuaiyun.com/haboop/article/details/89848486</guid><author>haboop</author><pubDate>Sun, 05 May 2019 16:27:31 +0800</pubDate><description><![CDATA[　虽然人工智能在处理数据和提供价值产出上具有巨大的优势，但是有一个缺点是无法避免的，那就是人工智能“大脑”的距离问题。



　　大多数AI算法需要大量的数据和计算能力来完成任务。因此，他们需要依靠云服务器来执行计算，并且无法在边缘、手机、计算机等设备上实现大多数功能。



　　相比之下，我们人类可以大脑边缘中执行大多数计算和决策，只有在自身处理能力和记忆能力不足时才会引用其他来源。

在这...]]></description><category></category></item><item><title><![CDATA[什么是大数据?你需要知道的一切]]></title><link>https://blog.youkuaiyun.com/haboop/article/details/89812407</link><guid>https://blog.youkuaiyun.com/haboop/article/details/89812407</guid><author>haboop</author><pubDate>Sat, 04 May 2019 12:36:32 +0800</pubDate><description><![CDATA[分析大量数据只是使大数据分析与以前的数据分析不同的一部分。我们还要了解其它方面。
　　先有数据，然后是大数据。那么，它们有什么区别?　　定义大数据
　　一般而言，大数据是指容量庞大的数据集，大到传统的数据处理软件产品无法在合理的时间内捕获、管理和处理数据。
　　这些大数据集可以包括结构化数据、非结构化数据和半结构化数据，人们可以从每个数据挖掘到洞察。
　　多大的数据才算得上“大”尚无定论，但它通常...]]></description><category></category></item><item><title><![CDATA[用于大数据处理的高性能计算的4个实现步骤]]></title><link>https://blog.youkuaiyun.com/haboop/article/details/89812401</link><guid>https://blog.youkuaiyun.com/haboop/article/details/89812401</guid><author>haboop</author><pubDate>Sat, 04 May 2019 12:35:12 +0800</pubDate><description><![CDATA[　　在大数据领域，并非每家公司都需要高性能计算(HPC)，但几乎所有使用大数据的企业都采用了Hadoop式分析计算。
　　HPC和Hadoop之间的区别很难区分，因为可以在高性能计算(HPC)设备上运行Hadoop分析作业，但反之亦然。 HPC和Hadoop分析都使用并行数据处理，但在Hadoop 和分析环境中，数据存储在硬件上，并分布在该硬件的多个节点上。在高性能计算(HPC)中，数据文件的大小...]]></description><category></category></item><item><title><![CDATA[Hadoop和企业信息管理：利用大数据的解决方案]]></title><link>https://blog.youkuaiyun.com/haboop/article/details/89812387</link><guid>https://blog.youkuaiyun.com/haboop/article/details/89812387</guid><author>haboop</author><pubDate>Sat, 04 May 2019 12:33:44 +0800</pubDate><description><![CDATA[过去几年，大数据在全球商业环境中的重要性已得到坚定的确认。2017年看起来是 Apache Hadoo pimplementation (在开源开发和更多的商业选择方面)在企业层面上，由于企业信息管理(EIM)仍然需要更多改进的大数据解决方案。
　　数据仓库现代化、Hadoop项目级的采用和数据湖泊的使用的早期(和持续)趋势可能会继续以更快的速度向前发展。在版本1和2之间，Hadoop已经从一个主...]]></description><category></category></item><item><title><![CDATA[关于大数据你应该了解的五件事儿]]></title><link>https://blog.youkuaiyun.com/haboop/article/details/89812380</link><guid>https://blog.youkuaiyun.com/haboop/article/details/89812380</guid><author>haboop</author><pubDate>Sat, 04 May 2019 12:32:41 +0800</pubDate><description><![CDATA[　随着科技的发展，目前已经步入了大数据的时代，很多社交媒体和互联网公司也非常关注大数据这一行业。那么对于大数据而言，这里有五件事情是你应该了解的。　　1.大数据是什么?
　　简单地说，大数据指的是通过计算分析大数据集，以揭示与数据某一方面相关的模式或趋势。对于大数据而言，数据量没有一定的要求，只要足够得出可靠的结论即可。

对大数据以及人工智能概念都是模糊不清的，该按照什么线路去学习，学完往哪方面...]]></description><category></category></item><item><title><![CDATA[数据收集的历史如何引导大数据时代发展]]></title><link>https://blog.youkuaiyun.com/haboop/article/details/89812365</link><guid>https://blog.youkuaiyun.com/haboop/article/details/89812365</guid><author>haboop</author><pubDate>Sat, 04 May 2019 12:31:34 +0800</pubDate><description><![CDATA[　数据收集并不像人们想象的那样从计算机诞生才开始进行的。数据已被用于实验和研究已经有数百年的时间，并形成了一些理论。随着技术的进步，数据的组织已经改变了平台。数据的使用也越来越普遍，因为企业领导者现在意识到数据支持的方法是推销客户或投资者的唯一方式。

对大数据以及人工智能概念都是模糊不清的，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习qq群：45834578...]]></description><category></category></item><item><title><![CDATA[关于大数据，这里有10个预测]]></title><link>https://blog.youkuaiyun.com/haboop/article/details/89812352</link><guid>https://blog.youkuaiyun.com/haboop/article/details/89812352</guid><author>haboop</author><pubDate>Sat, 04 May 2019 12:29:50 +0800</pubDate><description><![CDATA[　到了2020年，世界上每个人每秒将创造7 MB的数据。在过去的几年里，我们已经创造了比人类历史上更多的数据。大数据席卷全球，并且没有放缓的迹象。人们可能会想，“大数据产业从哪里开始 ”以下有10个大数据预测可以回答这个有趣的问题。
　　1. 机器学习将成为大数据应用的下一件大事
　　当今最热门的技术趋势之一就是机器学习，它也将在未来的大数据中发挥重要作用。根据调研机构Ovum的预测，机器学习将在...]]></description><category></category></item><item><title><![CDATA[20个顶级大数据软件应用程序]]></title><link>https://blog.youkuaiyun.com/haboop/article/details/89812340</link><guid>https://blog.youkuaiyun.com/haboop/article/details/89812340</guid><author>haboop</author><pubDate>Sat, 04 May 2019 12:28:37 +0800</pubDate><description><![CDATA[　如今，大数据技术对企业来说不再是一种尝试和体验，它已成为企业开展业务的一个重要组成部分。根据调研机构IDC公司的调查，2017年全球大数据和业务分析(BDA)的市场收入将达到1508亿美元，和2016年相比增长12.4%。到2020年，其收入将超过2100亿美元。
　　这些大部分来自硬件和服务。对于大数据软件而言，在某些情况下，每家公司的需求都是基于垂直行业的独特需求。即使在同一行业，如零售行业...]]></description><category></category></item><item><title><![CDATA[大数据处理框架的类型、比较和选择]]></title><link>https://blog.youkuaiyun.com/haboop/article/details/89812330</link><guid>https://blog.youkuaiyun.com/haboop/article/details/89812330</guid><author>haboop</author><pubDate>Sat, 04 May 2019 12:27:23 +0800</pubDate><description><![CDATA[说起大数据处理，一切都起源于Google公司的经典论文：《MapReduce:Simplied Data Processing on Large Clusters》。在当时(2000年左右)，由于网页数量急剧增加，Google公司内部平时要编写很多的程序来处理大量的原始数据：爬虫爬到的网页、网页请求日志;计算各种类型的派生数据：倒排索引、网页的各种图结构等等。这些计算在概念上很容易理解，但由于输入...]]></description><category></category></item><item><title><![CDATA[Hadoop中理论与工程的错位]]></title><link>https://blog.youkuaiyun.com/haboop/article/details/89812308</link><guid>https://blog.youkuaiyun.com/haboop/article/details/89812308</guid><author>haboop</author><pubDate>Sat, 04 May 2019 12:25:20 +0800</pubDate><description><![CDATA[　Hadoop是当前重要的大数据计算平台，它试图摒弃传统数据库的理念，重新构建一套新的大数据体系。但是，这并不是件很容易的事，在Hadoop的设计和实现中能看到一些先天不足的地方，其中一点就是把理论问题和工程问题给搞拧了。
　　所谓理论方法，是指试图解决问题的一般情况，设计通用的算法能适应尽量多的情况，并努力使算法的复杂度降低。在研究问题时不会考虑具体环境下某个具体动作是否可以执行以及该动作消耗的...]]></description><category></category></item><item><title><![CDATA[常用的几种大数据架构剖析]]></title><link>https://blog.youkuaiyun.com/haboop/article/details/89812301</link><guid>https://blog.youkuaiyun.com/haboop/article/details/89812301</guid><author>haboop</author><pubDate>Sat, 04 May 2019 12:24:18 +0800</pubDate><description><![CDATA[　数据分析工作虽然隐藏在业务系统背后，但是具有非常重要的作用，数据分析的结果对决策、业务发展有着举足轻重的作用。随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大行其道之前，数据分析工作已经经历了长足的发展，尤其是以BI系统为主的数据分析，已经有了非常成熟和稳定的技术方案和生态系统，对于BI系统来说，大概的架构图如下：
　　可以看到在B...]]></description><category></category></item><item><title><![CDATA[基于hadoop分析，了解hive的使用]]></title><link>https://blog.youkuaiyun.com/haboop/article/details/89786437</link><guid>https://blog.youkuaiyun.com/haboop/article/details/89786437</guid><author>haboop</author><pubDate>Fri, 03 May 2019 12:09:26 +0800</pubDate><description><![CDATA[一、Hadoop理论

　　Hadoop是一个专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。

Hadoop=HDFS（文件系统，数据存储技术相关）+ Mapreduce（数据处理）

　　Hadoop的数据来源可以是任何形式，在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能，具有更灵活的处理能力，不管任何数据形式最终会转化为key/value，k...]]></description><category></category></item></channel></rss>