认识大数据分析

我对数据分析的初步理解 今天我来讲一下EXCE、VBA、Access、SPSS、XLSTAT、Modeler和R语言这几种软件工具的区别。 一、EXCEL EXCEL作为最基础的数据分析工具,很多人主要用其来收集录入数据。但是从专业分析的角度来看,EXCEL的分析能力太弱了;数据透视表的功能还不错,但几乎没有像样的“统计”功能,图形的功能也很弱。此外,虽然配备了数组等比较高级的功能,能够勉强地实现编程中“循环”的功能,但... 阅读详情

最近关注大数据,读了一些相关的书和文章,这里对自己在大数据概念上做一个总结。


1. 大数据是泡沫吗?泡不泡沫有什么关系?

大数据很热,热的让人都觉得有问题了。不过,大数据应该是有一定含金量的,否则,没人会炒作它,至于泡沫有多大,要真正了解大数据才知道。

泡不泡沫其实跟大数据没关系,大数据就在那,泡沫就只是别人的炒作。


泡沫破裂后,大数据可能会暂时被很多企业放在一边,但随着其价值的存在,必定会慢慢兴起,因为数据分析的动机一直都存在。


大数据改变是分析专家所使用的分析策略和工具,但不会从根本上改变分析的动机,以及从分析中可获取的价值。


2. 大数据的特点、价值在哪里?或者说谁有这个需求?或者说让谁知道他有这个需求?

大数据不仅是容量大、还有复杂性、速度及多样性等特征。

其价值威力,不是体现在“大”或“数据”,而是对其进行的分析和行动。


而且大数据不意味着控制所有数据,而是抽取重要的部分即可。如何确定哪些是重要的部分?

前期,可以收集一些样本数据,然后,分析确定,哪些是重要的数据。


其重要的价值体现:与其他数据结合后,所带来的业务价值。


3. 大数据与传统的数据分析 有什么区别?

分析策略和工具的不同,但其分析动机,及获取的价值,可能大部分都无分别。  两者都是整体数据和分析的一部分。


4. 哪些数据该被收集?目前常用的分析应用有哪些?(是不是新的商业搜索机会?从哪些小处、痛点找到需求?)

交易数据、网络行为数据、客户接触点等数据,都应当被收集,然后,进行分析。这些数据会将分析带到新的高度。


大数据分析相关的应用:

推荐商品

流失模型

响应模型

顾客分类

顾客搜索

在线广告分析

车载信息的应用:车险、交通管理、道路规划、辅助驾驶

LBS:基于位置的服务。时间与位置信息 的影响力

库存分析

欺诈分析

员工绩效分析

电力系统、电量分析

作弊分析

设备传感器数据 来进行故障诊断

游戏类数据分析:玩家分类、定位交易等

社交网络类的分析:电信业,从账号分析,转移到用户社交网络关联分析

金融行业顾客投诉原因分析,提示业务效率(其他行业也是可以的吧,如电信)


3. 大数据分析如何部署?企业如何采用正确的策略,流程和方法去实施大数据分析? 

1)关注新的并行能力、可扩展性。MMP数据库,云计算架构,MapReduce的并发的分析方式。

2)更新分析的流程,熟悉沙箱,传统分析数据集ADS,企业分析数据集EADS的架构和区别

3)各种高级工具与方法的使用。单点解决方案、R开源工具、用户界面数据可视化、模型的简单与复杂、模型组合等相关概念。

4)关注业务应用。报表与高级分析的区别。高级分析是研究“为什么发生”,“该怎么做”,提供方案;选取分析结果,不能忽视不利的结论,而选取有利的结论。


4. 大数据的问题不是技术问题,而是人、文化、流程或基础设施的问题


参考:

《驾驭大数据》

其他

大数据分析概述 大数据分析,简而言之,是指利用先进的分析技术和工具,对海量、高速、多样化的数据进行处理、挖掘和分析,以揭示数据中的模式、趋势、关联性及潜在价值的过程。这些数据可以来自社交媒体、交易记录、物联网设备、传感器网络等多个渠道,涵盖了结构化数据(如数据库中的表格)、半结构化数据(如电子邮件、日志文件)和非结构化数据(如图片、视频)。 阅读详情

相关推荐

大数据分析及其建模利用

在数字经济时期,互联网、物联网、5G、大数据、智慧城市等各类模式的信息技术呈爆炸式增长,使得数据以令人难以设想的速度始终增长,企业运营的各个阶段都可以被记载下来,产品销售的各个环节也被记载下来,客户的生产行为和网上行为,智能设施的信息都被采集下来。数据已成为一种重要的消费要素,经过对数据的搜集、存储、再组织和分析建模,暗藏在数据中的重要价值及法则被客观的发掘展现出来,成为企业和社会升级及可延续展开...

忆半繁华的博客 6254

什么是大数据?一文讲清大数据的概念、演进、趋势、产业链及关键技术!

大数据这个词,不管您是不是相关行业的从业者,也都听过无数遍了,但对于大多数人来说,并不能清楚的讲出什么是大数据。今天小兵尝试通过通俗的语言,结合贴近生活的例子,将大数据及相关的概念一次讲清楚。

ccddtomato的专栏 6万+

ComfyUI面部修复FaceDetailer保姆级教程:从模型选择到参数调优全解析

本文提供ComfyUI面部修复FaceDetailer的保姆级教程,深度解析从模型选择到参数调优的全过程。针对常见的五官模糊、肤色不均等问题,详细对比了BBox与Segm检测器的优劣,并给出SD1.5与SDXL模型的核心参数联动策略与实战方案,帮助用户精准掌控AI绘画中的面部修复效果。

weixin_29073241的博客 471

带你了解什么叫大数据分析

信息化时代的高速发展为企业带来了丰厚的效益,在数据发展的背后,造就了一批从事于数据分析的专业人员,挖掘数据背后的价值,为企业发展带来强有力的数据支持。很多人都在说大数据,什么是大数据呢,大数据分析又是什么,大数据分析有哪些方面,下面我将一一展开说明。 大数据 大数据是无形的,无法使用常规的工具进行获取、管理和处理的数据集合。其具有数据量大、速度快、类型多、价值、真实性等特点。正是因为它的海量性...

hualalalalali的博客 4144

数字IC后端层次化Hierarchical Flow子系统Sub-System模块 block partition和pin assignment细节盘点

数字IC后端培训教程之Hierarchical Flow子系统block partition和pin assignment详细教程

weixin_37584728的博客 1603

【新华三】通过路由复制实现Public与VRF路由互通

如上图所示,S6900设备里有两张表,一张是public路由表,默认所有的路由都存放在public路由表里;除此之外还创建了VRF test,因此此设备还有VRF test路由表。通过路由复制实现Public路由和VRF路由互通,默认情况下VRF里的路由单独一张路由表,默认情况下与public路由表相互隔离,两张表之间不可互访。此时的public路由表里面并没有test的路由表。public路由表与VRF路由表之间相互隔离。此时VRF test里的路由也没有其他VRF或Public里的路由,相互隔离。

五大连池的镜子 5277

大数据超全面入门干货知识,看这一篇就够了!

它是一个开源的分布式计算框架,让数据分散储存在多台计算机上,然后使用 MapReduce 的方法,将数据分成小块一块一块地处理,最后把结果汇总起来。有了 Hive,我们不需要学习新的编程语言,只需使用熟悉的 SQL,就能轻松地查询和分析海量的数据。大数据是当今社会的瑰宝,它让我们能够洞悉未知世界,做出更明智的决策。就像一个默契的团队一样,大数据组件们一起工作,使得数据处理变得更加高效、可靠,帮助我们揭开数据的神秘面纱。在大数据的世界里,有许多神奇的组,它们像齐心协力的小伙伴,一起为我们揭开数据的奥秘。

xiaobaiyanghaowa的博客 8505

String+CytoScape构建PPI网络

1.下载CytoScape Cytoscape是一款专业强大好用的物生信息分析软件,主要达用于专业的研究人员使用,软件主要适用于整合模块化网络和生物科学联系网络图的绘制,支持多种文件格式,导入后就可以直接进行编辑或者分析等操作了,除此之外,软件还提供了强大的编辑工具,支持添加相应的注释信息,软件基于java环境组件打造。 下载地址:https://cytoscape.org/ 因为软件基于java...

xiaobai1_1的博客 1万+

大数据基础知识(一):认识大数据

大数据的特点   具体来说,大数据具有4个基本特征:   一是数据体量巨大。百度资料表明,其新首页导航每天需要提供的数据超过1.5PB(1PB=1024TB),这些数据如果打印出来将超过5千亿张A4纸。有资料证实,到目前为止,人类生产的所有印刷材料的数据量仅为200PB。   二是数据类型多样。现在的数据类型不仅是文本形式,更多的是图片、视频、音频、地理位置信息等多类型的数据,个性化数据占绝...

7159

SAP-ABAP:ABAP 开发基础概念入门:写给刚踏入 SAP 开发世界的新人

本文介绍了 ABAP 开发语言的基础概念,帮助 SAP 开发新人快速入门。主要内容包括: ABAP 的发展历程与核心优势 - 作为 SAP 平台的专属语言,ABAP 在企业级应用开发中具有深度集成、数据处理高效和长期稳定的特点 ABAP 开发环境概览 - 介绍了 SE38、SE80 等关键事务码,以及 ABAP 工作台的核心组件和开发权限管理 基础语法入门 - 重点讲解了 ABAP 特有的数据类型体系(特别是结构体和内表),并通过 Hello World 示例展示程序基本结构 文章通过对比 ABAP 与 J

baidu_35680696的博客 511

PDF格式分析(一)简介

概述 PDF文件是一种编程形式的文档格式,它所有显示的内容,都是通过相应的操作符进行绘制的。 PDF基本显示单元包括:文字,图片,矢量图,图片 PDF扩展单元包括:水印,电子署名,注释,表单,多媒体,3D PDF动作单元:书签,超链接(初学者可以简单这么理解,对于研究比较深入的人员来说,拥有动作的单元有很多个,包括电子署名,多媒体,3D等等) 优势 一致性: 在所有可以打开PDF的机...

steve_cui的博客 2万+

什么是大数据分析?大数据分析要学什么?

大数据分析概念  大数据分析是指对规模巨大的数据进行分析。大数据可以概括为5个V, 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值(Value)、真实性(Veracity)。  大数据作为时下最火热的IT行业的词汇,随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临,大数据...

weixin_42330429的博客 2万+

利用Python爬虫采集京东商品评论情感分析案例(含完整代码)

在电商蓬勃发展的今天,商品评论蕴含着巨大的商业价值。本文以京东商品评论为研究对象,系统介绍如何使用Python构建一个完整的评论采集与情感分析系统。文章涵盖京东反爬机制分析、动态请求模拟、评论数据解析、中文文本预处理、基于SnowNLP和深度学习的情感极性分类、以及可视化展示等完整技术链路。所有代码均基于2025-2026年最新可用接口编写,并提供可直接运行的完整源码。全文力求详实,总字数逾八千字,适合Python数据分析从业者、电商运营人员及自然语言处理初学者参考实践。目录摘要第一章 引言。

2201_76125261的博客 87

AI时代Python大数据分析

AI时代Python大数据分析

3万+

2篇5章1节:实验流行病学的核心特征和设计原则

本文系统阐释实验流行病学的核心定义、四大核心特征、四大基本原则及主流设计类型,结合骨科、肿瘤科、儿科、精神科、内外妇儿及公共卫生等多学科临床实践案例,具象化解读人为干预、随机分组、平行对照、前瞻性设计的核心内涵与应用价值。同时,规范梳理对照、随机、盲法、重复四大研究基本原则,详细介绍临床试验、现场试验、社区试验三类主流研究设计的适配场景与应用差异。

MD Code 165

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

【PySpark大数据分析概述】01 大数据分析概述

本文讲解大数据分析概述。大数据指具有海量、多样、高速、低价值密度等特征的数据,需先进技术处理。其分析流程涵盖采集、预处理、建模评估,应用于个性化推荐、预测分析等领域,核心技术包括Hadoop、Spark等分布式框架。

Morse_Chen的博客 1899

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

AI时代Python金融大数据分析实战:ChatGPT让金融大数据分析插上翅膀

AI时代Python金融大数据分析实战:ChatGPT让金融大数据分析插上翅膀

小虚竹的专栏 1万+

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

什么是大数据分析?怎么使用大数据分析?

大数据分析概念 大数据分析是指对规模巨大的数据进行分析。大数据可以概括为数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值(Value)、真实性(Veracity)。  随着大数据时代的来临,大数据分析也应运而生。随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。 大数据分析步骤 大数据分析的六个基本...

qq_37553773的博客 3276

一.大数据分析概述

大数据分析是指对规模巨大的数据进行分析,这些数据通常具有海量、高增长率和多样化的特点,需要采用新的处理模式才能具有更强的决策力、洞察发现力和流程优化能力。

2401_85725713的博客 3580

2019大数据分析软件介绍

大数据分析是什么?大数据分析软件有哪些?这是现在这个信息时代每一个企业管理者、经营参与者都需要了解的。今天,小编就来针对性地总结一下,什么是大数据分析,以及2019年主流的商业大数据分析软件。 一、大数据分析是什么 从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。 大数据最核心的价值就是在于对于海量数据进行存储和分析。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC...

Leo的博客 6830

大数据分析与应用

大数据分析与应用是指利用大规模、多样化和高速增长的数据资源,通过采用各种技术和方法对数据进行收集、存储、处理和分析,从而获取有价值的洞察和知识,并将其应用于各个领域和行业中。大数据分析与应用的主要目标是从海量的数据中挖掘出有意义的信息,以支持决策制定、业务优化、创新发展等。通过对大数据的深入分析,可以帮助企业和组织发现潜在的商机、优化运营流程、改进产品和服务、提高效率和竞争力等。

2301_77437763的博客 2431

大数据分析是什么

  大数据分析行业是最近这几年比较火,比较高薪的行业了,很多人都想分一杯羹,经常同学问我什么是大数据分析?什么是python?这些能学到什么技能?以后能学到什么知识?有太多的疑问,今天就简单写出来出来,分享给大家!   很多人还没搞清楚什么是PC互联网,移动互联网来了,我们还没搞清楚移动互联的时候,大数据时代又来了。   大数据分析是指对规模巨大的数据进行分析。大数据可以概括为4个V, 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值(Value)。大数据作为时下最火

yuuEva的博客 2731

大数据分析难不难好学吗?

  大数据分析职业异常火爆,不少年轻人都对大数据分析充满了憧憬。市场上大数据分析岗位给的薪酬也十分吸引人,让不少人想去从事大数据分析相关的职位。那么人们就会有一些疑问,大数据分析学习难度怎么样,难学吗?有许多0基础的学员没有学习过编程言语,乃至很少触摸过核算机,那就是说0基础的不能学习大数据分析?答案是否定的。下面大家一起来看一看原因,为大家剖析一下大数据分析学习的难度。   首先我们要了解下大数据分析和传统的数据分析在概念上的区别,大数据分析相较于传统的数据分析,需要掌握更多的技能,对于从业者能力要求提

yuuEva的博客 2891

大数据分析的意义和价值

  最近总有同学们在网络上问大数据分析的意义和价值是什么,我找大数据分析培训课程的老师深入了解了一下并拿来了一些干货,将这个问题分享出来,让大家不再疑惑大数据分析的模样。   大数据分析提供了几乎无穷无尽的业务和信息洞察力资源,可导致运营改善和新的机会,使公司能够在几乎每个行业提供未实现的收入。从客户个性化的用例,到降低风险,欺诈检测,内部运营分析,以及几乎每天都会出现的所有其他新用例,公司数据中隐藏的价值使公司希望创建前沿的分析业务。   在原始数据中发现价值给IT团队带来了许多挑战。每个公司都有不同

yuuEva的博客 5251

大数据分析类型有哪些

  大数据分析类型有哪些?大数据分析是成功开展业务的重要组成部分。有效地使用数据,可以更好地理解企业的先前绩效,并为未来的活动做出更好的决策。在公司运营的各个级别,可以采用多种方式利用数据。   所有行业都使用四种类型的大数据分析。虽然我们将这些类别分为几类,但它们都链接在一起并相互构建。随着您从最简单的分析类型转变为更复杂的分析方法,难度和所需资源也随之增加。同时,增加的洞察力和价值水平也在增加。   大数据分析的四种类型是:   1)描述性分析   2)诊断分析   3)预测分析   4)规

yuuEva的博客 5155
上一篇: fuzzy logic模糊计算的原理
下一篇: 在线机器学习算法及其伪代码
viewcode
博客等级 码龄16年 993粉丝 108原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值