<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[大数据基础学习]]></title><description><![CDATA[大数据基础学习]]></description><link>https://blog.youkuaiyun.com/dsdaasaaa</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; dsdaasaaa]]></copyright><item><title><![CDATA[基于HBase的大数据存储的应用场景分析]]></title><link>https://blog.youkuaiyun.com/dsdaasaaa/article/details/95044246</link><guid>https://blog.youkuaiyun.com/dsdaasaaa/article/details/95044246</guid><author>dsdaasaaa</author><pubDate>Mon, 08 Jul 2019 10:10:01 +0800</pubDate><description><![CDATA[引言

HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，适用于结构化的存储，底层依赖于Hadoop的HDFS，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。因此HBase被广泛使用在大数据存储的解决方案中。

为何使用HBase

HBase的优点：

列可以动态增加，并且列为空就不存储数据，节省存储空间。

Hbase自动切分数据，使得数据存储自动具有...]]></description><category></category></item><item><title><![CDATA[大数据、机器学习和人工智能未来发展的8个因素]]></title><link>https://blog.youkuaiyun.com/dsdaasaaa/article/details/95043873</link><guid>https://blog.youkuaiyun.com/dsdaasaaa/article/details/95043873</guid><author>dsdaasaaa</author><pubDate>Mon, 08 Jul 2019 10:09:58 +0800</pubDate><description><![CDATA[人工智能和机器学习以及不断增加的数据量正在改变当前的商业和社会格局。这些领域中出现了许多需要CIO注意的主题和问题。

日前，O'Reilly 公司在伦敦Strata举办了一个为期数天的数据会议，与会者为此更好地了解大数据、机器学习(ML)和人工智能的发展方向。这些新兴技术在过去5年中发展迅速，而新技术、流程和应用程序改变了组织管理数据的方式。

此次数据会议提供了一个很好的技术发展晴雨表，与会者...]]></description><category></category></item><item><title><![CDATA[老程序员告诉你什么是大数据框架]]></title><link>https://blog.youkuaiyun.com/dsdaasaaa/article/details/95043898</link><guid>https://blog.youkuaiyun.com/dsdaasaaa/article/details/95043898</guid><author>dsdaasaaa</author><pubDate>Mon, 08 Jul 2019 10:09:57 +0800</pubDate><description><![CDATA[大数据架构是用于摄取和处理大量数据(通常称为“大数据”)的总体系统，因此可以针对业务目的进行分析。该架构可视为基于组织业务需求的大数据解决方案的蓝图。大数据架构旨在处理以下类型的工作：



•批量处理大数据源。



•实时处理大数据。



•预测分析和机器学习。



精心设计的大数据架构可以节省企业资金，并帮助其预测未来趋势，从而做出明智的业务决策。



大数据架构的好处

...]]></description><category></category></item><item><title><![CDATA[顶尖工程师处理大数据所需的技能]]></title><link>https://blog.youkuaiyun.com/dsdaasaaa/article/details/95043841</link><guid>https://blog.youkuaiyun.com/dsdaasaaa/article/details/95043841</guid><author>dsdaasaaa</author><pubDate>Mon, 08 Jul 2019 10:09:55 +0800</pubDate><description><![CDATA[数据分析师的工作包括收集、清理、可视化信息块，并将原始数据转换或建模为营销人员、开发人员、会计师使用。数据分析师的工作流程是由组织的需求定义的，但最终的可交付成果总是相同的：结构良好且易于检索的数据。



作为一名数据分析师，需要具有分析头脑、强大的数学技能和灵活性。虽然这主要是数据科学家的先决条件，但也需要一系列的编程知识。



根据Payscale公司发布的统计数据，数据分析师的年薪在...]]></description><category></category></item><item><title><![CDATA[大数据所具备的四个特点，清楚知道大数据原理原则]]></title><link>https://blog.youkuaiyun.com/dsdaasaaa/article/details/95043816</link><guid>https://blog.youkuaiyun.com/dsdaasaaa/article/details/95043816</guid><author>dsdaasaaa</author><pubDate>Mon, 08 Jul 2019 10:00:22 +0800</pubDate><description><![CDATA[说起大数据，估计大家都觉得只听过概念，但是具体是什么东西，怎么定义，没有一个标准的东西，因为在我们的印象中好像很多公司都叫大数据公司，业务形态则有几百种，感觉不是很好理解，所以我建议还是从字面上来理解大数据，在维克托迈尔-舍恩伯格及肯尼斯库克耶编写的《大数据时代》提到了大数据的4个特征：

1.大量

大数据的特征首先就体现为“大”，从先Map3时代，一个小小的MB级别的Map3就可以满足很多人的...]]></description><category></category></item><item><title><![CDATA[大数据在物流行业的应用]]></title><link>https://blog.youkuaiyun.com/dsdaasaaa/article/details/94763907</link><guid>https://blog.youkuaiyun.com/dsdaasaaa/article/details/94763907</guid><author>dsdaasaaa</author><pubDate>Fri, 05 Jul 2019 20:59:59 +0800</pubDate><description><![CDATA[物流大数据就是通过海量的物流数据，即运输、仓储、搬运装卸、包装及流通加工等物流环节中涉及的数据、信息等，挖掘出新的增值价值，通过大数据分析可以提高运输与配送效率，减少物流成本，更有效地满足客户服务要求。



1. 物流大数据的作用

物流大数据应用对于物流企业来讲具有以下 3 个方面的重要作用。

1）提高物流的智能化水平

通过对物流数据的跟踪和分析，物流大数据应用可以根据情况为物流企业做出...]]></description><category></category></item><item><title><![CDATA[大数据在互联网行业的应用]]></title><link>https://blog.youkuaiyun.com/dsdaasaaa/article/details/94763633</link><guid>https://blog.youkuaiyun.com/dsdaasaaa/article/details/94763633</guid><author>dsdaasaaa</author><pubDate>Fri, 05 Jul 2019 20:59:57 +0800</pubDate><description><![CDATA[互联网企业拥有大量的线上数据，而且数据量还在快速增长，除了利用大数据提升自己的业务之外，互联网企业已经开始实现数据业务化，利用大数据发现新的商业价值。

以阿里巴巴为例，它不仅在不断加强个性化推荐、“千人千面”这种面向消费者的大数据应用，并且还在尝试利用大数据进行智能客户服务，这种应用场景会逐渐从内部应用延展到外部很多企业的呼叫中心之中。

在面向商家的大数据应用中，以“生意参谋”为例，超过 60...]]></description><category></category></item><item><title><![CDATA[大数据在金融行业的应用]]></title><link>https://blog.youkuaiyun.com/dsdaasaaa/article/details/94763757</link><guid>https://blog.youkuaiyun.com/dsdaasaaa/article/details/94763757</guid><author>dsdaasaaa</author><pubDate>Fri, 05 Jul 2019 20:59:54 +0800</pubDate><description><![CDATA[如果能够引入外部数据，还可以进一步加快数据价值的变现。外部数据中比较好的有社交数据、电商交易数据、移动大数据、运营商数据、工商司法数据、公安数据、教育数据和银联交易数据等。

大数据在金融行业的应用范围较广，典型的案例有花旗银行利用 IBM 沃森电脑为财富管理客户推荐产品，并预测未来计算机推荐理财的市场将超过银行专业理财师；摩根大通银行利用决策树技术，降低了不良贷款率，转化了提前还款客户，一年为摩...]]></description><category></category></item><item><title><![CDATA[大数据可以应用在哪些行业？]]></title><link>https://blog.youkuaiyun.com/dsdaasaaa/article/details/94764152</link><guid>https://blog.youkuaiyun.com/dsdaasaaa/article/details/94764152</guid><author>dsdaasaaa</author><pubDate>Fri, 05 Jul 2019 20:59:52 +0800</pubDate><description><![CDATA[经过近几年的发展，大数据技术已经慢慢地渗透到各个行业。不同行业的大数据应用进程的速度，与行业的信息化水平、行业与消费者的距离、行业的数据拥有程度有着密切的关系。总体看来，应用大数据技术的行业可以分为以下 4 大类。

1）第一大类是互联网和营销行业。

互联网行业是离消费者距离最近的行业，同时拥有大量实时产生的数据。业务数据化是其企业运营的基本要素，因此，互联网行业的大数据应用的程度是最高的。与互...]]></description><category></category></item><item><title><![CDATA[大数据的其他应用领域]]></title><link>https://blog.youkuaiyun.com/dsdaasaaa/article/details/94763524</link><guid>https://blog.youkuaiyun.com/dsdaasaaa/article/details/94763524</guid><author>dsdaasaaa</author><pubDate>Fri, 05 Jul 2019 20:59:51 +0800</pubDate><description><![CDATA[1.大数据帮助企业挖掘市场机会，探寻细分市场

大数据能够帮助企业分析大量数据，从而进一步挖掘市场机会和细分市场，然后对每个群体量体裁衣般地釆取独特的行动。获得好的产品概念和创意，关键在于如何去搜集消费者相关的信息，如何获得趋势，如何挖掘出人们头脑中未来可能会消费的产品概念。

用创新的方法解构消费者的生活方式，剖析消费者的生活密码，才能让吻合消费者未来生活方式的产品研发不再成为问题。

企业了...]]></description><category></category></item><item><title><![CDATA[大数据预测（大数据核心应用）]]></title><link>https://blog.youkuaiyun.com/dsdaasaaa/article/details/94763828</link><guid>https://blog.youkuaiyun.com/dsdaasaaa/article/details/94763828</guid><author>dsdaasaaa</author><pubDate>Fri, 05 Jul 2019 20:59:05 +0800</pubDate><description><![CDATA[大数据预测是大数据最核心的应用，它将传统意义的预测拓展到“现测”。大数据预测的优势体现在，它把一个非常困难的预测问题，转化为一个相对简单的描述问题，而这是传统小数据集根本无法企及的。从预测的角度看，大数据预测所得出的结果不仅仅是用于处理现实业务的简单、客观的结论，更是能用于帮助企业经营的决策。

1. 预测是大数据的核心价值

大数据的本质是解决问题，大数据的核心价值就在于预测，而企业经营的核心也...]]></description><category></category></item><item><title><![CDATA[基于大数据的个性化推荐系统]]></title><link>https://blog.youkuaiyun.com/dsdaasaaa/article/details/94763439</link><guid>https://blog.youkuaiyun.com/dsdaasaaa/article/details/94763439</guid><author>dsdaasaaa</author><pubDate>Fri, 05 Jul 2019 20:59:03 +0800</pubDate><description><![CDATA[随着互联网时代的发展和大数据时代的到来，人们逐渐从信息匮乏的时代走入了信息过载的时代。为了让用户从海量信息中高效地获取自己所需的信息，推荐系统应运而生。

推荐系统的主要任务就是联系用户和信息，它一方面帮助用户发现对自己有价值的信息，另一方面让信息能够展现在对它感兴趣的用户面前，从而实现信息消费者和信息生产者的双赢。基于大数据的推荐系统通过分析用户的历史记录了解用户的喜好，从而主动为用户推荐其感兴...]]></description><category></category></item><item><title><![CDATA[基于大数据的精准营销]]></title><link>https://blog.youkuaiyun.com/dsdaasaaa/article/details/94590219</link><guid>https://blog.youkuaiyun.com/dsdaasaaa/article/details/94590219</guid><author>dsdaasaaa</author><pubDate>Wed, 03 Jul 2019 21:45:04 +0800</pubDate><description><![CDATA[在大数据时代到来之前，企业营销只能利用传统的营销数据，包括客户关系管理系统中的客户信息、广告效果、展览等一些线下活动的效果。数据的来源仅限于消费者某一方面的有限信息，不能提供充分的提示和线索。互联网时代带来了新类型的数据，包括使用网站的数据、地理位置的数据、邮件数据、社交媒体数据等。

大数据时代的企业营销可以借助大数据技术将新类型的数据与传统数据进行整合，从而更全面地了解消费者的信息，对顾客群体...]]></description><category></category></item><item><title><![CDATA[Apriori算法和FP-Tree算法简介]]></title><link>https://blog.youkuaiyun.com/dsdaasaaa/article/details/94590173</link><guid>https://blog.youkuaiyun.com/dsdaasaaa/article/details/94590173</guid><author>dsdaasaaa</author><pubDate>Wed, 03 Jul 2019 21:45:02 +0800</pubDate><description><![CDATA[Apriori关联分析算法

Apriori 算法是挖掘产生关联规则所需频繁项集的基本算法，也是最著名的关联分析算法之一。

1. Apriori 算法

Apriori 算法使用了逐层搜索的迭代方法，即用 k-项集探索（k+1）-项集。为提高按层次搜索并产生相应频繁项集的处理效率，Apriori 算法利用了一个重要性质，该性质还能有效缩小频繁项集的搜索空间。

Apriori 性质：一个频繁项集...]]></description><category></category></item><item><title><![CDATA[数据挖掘之关联规则分析简介]]></title><link>https://blog.youkuaiyun.com/dsdaasaaa/article/details/94590195</link><guid>https://blog.youkuaiyun.com/dsdaasaaa/article/details/94590195</guid><author>dsdaasaaa</author><pubDate>Wed, 03 Jul 2019 21:19:58 +0800</pubDate><description><![CDATA[关联分析是指从大量数据中发现项集之间有趣的关联和相关联系。关联分析的一个典型例子是购物篮分析。在大数据时代，关联分析是最常见的数据挖掘任务之一。

概述

关联分析是一种简单、实用的分析技术，是指发现存在于大量数据集中的关联性或相关性，从而描述一个事物中某些属性同时岀现的规律和模式。

关联分析可从大量数据中发现事物、特征或者数据之间的，频繁出现的相互依赖关系和关联关系。这些关联并不总是事先知道的...]]></description><category></category></item><item><title><![CDATA[DBSCAN聚类算法简介]]></title><link>https://blog.youkuaiyun.com/dsdaasaaa/article/details/94590159</link><guid>https://blog.youkuaiyun.com/dsdaasaaa/article/details/94590159</guid><author>dsdaasaaa</author><pubDate>Wed, 03 Jul 2019 21:19:57 +0800</pubDate><description><![CDATA[DBSCAN（Density—Based Spatial Clustering of Application with Noise）算法是一种典型的基于密度的聚类方法。它将簇定义为密度相连的点的最大集合，能够把具有足够密度的区域划分为簇，并可以在有噪音的空间数据集中发现任意形状的簇。

1. 基本概念

DBSCAN 算法中有两个重要参数：Eps 和 MmPtS。Eps 是定义密度时的邻域半径，M...]]></description><category></category></item><item><title><![CDATA[k-means聚类算法简介]]></title><link>https://blog.youkuaiyun.com/dsdaasaaa/article/details/94590187</link><guid>https://blog.youkuaiyun.com/dsdaasaaa/article/details/94590187</guid><author>dsdaasaaa</author><pubDate>Wed, 03 Jul 2019 21:10:00 +0800</pubDate><description><![CDATA[k-means 算法是一种基于划分的聚类算法，它以 k 为参数，把 n 个数据对象分成 k 个簇，使簇内具有较高的相似度，而簇间的相似度较低。

1. 基本思想

k-means 算法是根据给定的 n 个数据对象的数据集，构建 k 个划分聚类的方法，每个划分聚类即为一个簇。该方法将数据划分为 n 个簇，每个簇至少有一个数据对象，每个数据对象必须属于而且只能属于一个簇。同时要满足同一簇中的数据对象相...]]></description><category></category></item><item><title><![CDATA[什么是聚类分析？聚类分析方法的类别]]></title><link>https://blog.youkuaiyun.com/dsdaasaaa/article/details/94590153</link><guid>https://blog.youkuaiyun.com/dsdaasaaa/article/details/94590153</guid><author>dsdaasaaa</author><pubDate>Wed, 03 Jul 2019 21:09:55 +0800</pubDate><description><![CDATA[聚类分析是指将数据对象的集合分组为由类似的对象组成的多个类的分析过程。

基本概念

聚类（Clustering）就是一种寻找数据之间内在结构的技术。聚类把全体数据实例组织成一些相似组，而这些相似组被称作簇。处于相同簇中的数据实例彼此相同，处于不同簇中的实例彼此不同。

聚类技术通常又被称为无监督学习，与监督学习不同的是，在簇中那些表示数据类别的分类或者分组信息是没有的。

数据之间的相似性是通过...]]></description><category></category></item><item><title><![CDATA[决策树和朴素贝叶斯算法简介]]></title><link>https://blog.youkuaiyun.com/dsdaasaaa/article/details/94590080</link><guid>https://blog.youkuaiyun.com/dsdaasaaa/article/details/94590080</guid><author>dsdaasaaa</author><pubDate>Wed, 03 Jul 2019 21:00:00 +0800</pubDate><description><![CDATA[本节主要介绍数据挖掘中常见的分类方法决策树和朴素贝叶斯算法。

决策树算法

决策树（Decision Tree，DT）分类法是一个简单且广泛使用的分类技术。

决策树是一个树状预测模型，它是由结点和有向边组成的层次结构。树中包含3种结点：根结点、内部结点和叶子结点。决策树只有一个根结点，是全体训练数据的集合。

树中的一个内部结点表示一个特征属性上的测试，对应的分支表示这个特征属性在某个值域上的...]]></description><category></category></item><item><title><![CDATA[数据挖掘之分类和预测简介]]></title><link>https://blog.youkuaiyun.com/dsdaasaaa/article/details/94590089</link><guid>https://blog.youkuaiyun.com/dsdaasaaa/article/details/94590089</guid><author>dsdaasaaa</author><pubDate>Wed, 03 Jul 2019 20:59:56 +0800</pubDate><description><![CDATA[分类和预测是两种使用数据进行预测的方式，可用来确定未来的结果。

分类是用于预测数据对象的离散类别的，需要预测的属性值是离散的、无序的。

预测则是用于预测数据对象的连续取值的，需要预测的属性值是连续的、有序的。

例如，在银行业务中，根据贷款申请者的信息来判断贷款者是属于“安全”类还是“风险”类，这是数据挖掘中的分类任务。而分析给贷款人的贷款量就是数据挖掘中的预测任务。

本节将对常用的分类与预...]]></description><category></category></item></channel></rss>