IT时代周刊

随着互联网技术的发展，近两年，大数据和云计算越来被重视，各大网络巨头更是纷纷投资大数据和云计算领域，那么关于云计算的一些知识就有必要做一些普及，下面是一些IT人士不可不知的云计算知识。云计算的分类1、基础设施云(Infrastructure Cloud):为用户提供的是底层的、接近于直接操作硬件资源的服务接口，通过调用这些接口，用户可以直接获得计算和存储能力，而且相当灵活自如，几乎不受逻辑上的...

云计算和大数据的结合可以说是天作之合。大数据需要灵活的计算环境，而后者可以快速、自动地进行扩展以支持海量数据。基础设施云可以精准地提供这些需求。但是无论什么时候对云计算展开讨论，我们都无法回避以下问题：针对大数据的云安全策略是什么?当在大数据使用案例中提及云安全策略时，我们希望任何安全解决方案都能够在不影响部署安全性的情况下提供与云一样的灵活性。在将大数据转移至云上时，以下四个...

现如今，Apache Hadoop已经无人不知无人不晓。当年雅虎搜索工程师Doug Cutting开发出这个用以创建分布式计算机环境的开源软件库，并以自己儿子的大象玩偶为其命名的时候，谁能想到它有一天会占据“大数据”技术的头把交椅呢。虽然Hadoop伴随大数据一同火爆起来，但相信还是有许多用户对于它不甚了解。在上周名的TDWI解决方案峰会中， TDWI研究主任兼行业分析师Philip R...

大数据规划有五个步骤，首先从业务驱动的角度，相关部门选择要解决和产生的业务场景。针对需求处理和采取整合这些场景需要的大数据。当然选择的重点是怎么使信息快速产生价值。大数据分析的未来将朝着更为普及化、更为实时的数据分析去迈进，也就是说“针对正确的人，在正确的时间，获得正确的信息”，从这个意义来说，它已经超越了技术本身，是更为接近业务层面的实时分析。对于一个成功企业来说，数据整合能...

对于传统企业而言，无需任何繁杂的技术手段，只需要接入百度大数据引擎，即可利用大数据去帮助现有业务进行升级和创新了。峰哥认为百度此举是在加大此次大数据台风的风力。换一种角度看，这也是百度为了快速丰富各行业数据库的做法。其实早些时候，另一个互联网巨头阿里巴巴也宣布过有关大数据的战略，将会重点挖掘大数据的商业价值，也就是所谓的“云端+大数据”。当然了，这样的机会腾讯也不会落下，从早期的QQ圈子...

Hadoop得以在大数据处理应用中广泛应用得益于其自身在数据提取、变形和加载(ETL)方面上的天然优势。Hadoop的分布式架构，大数据处理引擎尽可能的靠近存储，对例如像ETL这样的批处理操作相对合适，因为类似这样操作的批处理结果可以直接走向存储。Hadoop的MapReduce功能实现了将单个任务打碎，并将碎片任务发送(Map)到多个节点上，之后再以单个数据集的形式加载(Reduce)到数据仓库...

大数据(Big Data)指的是“不能现有的工具对于复杂、海量的数据集合进行提取、存储、搜索、分析、处理等”。在业界经常会用4个V(即Volume、Variety、Value、Velocity)来总结大数据的主要特征。大数据(Big Data)指的是“不能现有的工具对于复杂、海量的数据集合进行提取、存储、搜索、分析、处理等”。在业界经常会用4个V(即Volume、Variety、Value、Ve...

架构大数据解决方案的软件工程师们都知道，业务分析有一项技术跨越了SQL数据库、NoSQL数据库，非结构化数据、面向文档数据存储及大型处理。如果你猜到了Hadoop，那你回答正确。Hadoop也是许多巨头公司具有的一个共性，如亚马逊、雅虎、AOL、Netflix、eBay、微软、谷歌、 Twitter和Facebook。IBM甚至是走在时常的前沿，促进Hadoop进行企业分析。此开源模型无处不在，它...

从不为人知，再到被神化，过度的炒作已经偏离了对大数据本质的认识。从本质上说，数据本身并不具有意义，有时尽管数据量庞大，但是使用价值却不大。可以说谷歌拥有最多的数据来源，它一直想知道每个媒介在一个人对品牌从认识到考虑到最后购买，分别起到了怎样的作用。但即便像谷歌在广告和搜索方面下了很大的努力，也无法描绘出一幅完整的视图，因为还有更多其他媒介是它无法掌握的。因此如何能够打通所有的媒体，从广告商的角...

被称作第三次IT浪潮的云计算，带来生活、生产方式和商业模式的根本性改变，成为当前全社会关注的热点。随着“宽带中国”战略的落地，云计算与大数据技术作为信息化转型升级的新引擎，已逐渐进入技术爆发期。IDC日前对2014年的科技行业9大趋势进行了预测，云计算榜上有名。权威机构将我国云计算的发展分为三个阶段，而目前国内的云计算市场正由成长期逐渐迈入成熟期。2014年同样是大数据发展更加迅速的一年，越来...

大数据处理离不开云计算技术，云计算为大数据提供弹性可扩展的基础设施支撑环境以及数据服务的高效模式，大数据则为云计算提供了新的商业价值。趋势一：与云计算深度融合大数据处理离不开云计算技术，云计算为大数据提供弹性可扩展的基础设施支撑环境以及数据服务的高效模式，大数据则为云计算提供了新的商业价值，因此，从2013年开始，大数据技术与云计算技术必然进入更完美的结合期。总体而言，云计算、物联网、移动互联...

大数据概念的横空出世，有赖于短短几年出现的海量数据。据统计，互联网上的数据每两年翻一番，而目前世界上90%以上的数据都是最近几年才产生的。当然，海量数据仅仅是“大数据”概念的一部分，只有具备4个“V”的特征，大数据的定义才算完整，而价值恰恰是决定大数据未来走向的关键。大数据时代:大数据发展三要素大数据的发展需要三个必要条件：数据源、数据交易、数据产生价值的过程。近年来，社交网络...

作为当今国际时尚热词，因其正在悄然影响和改变着人们生活的方方面面，而备受各国所瞩目。据国际有关研究表明，整个人类文明所获得的全部数据中，约有90%是近两年产生的，预计到2020年，全世界所产生的数据规模将可能达到今天的44倍之多，也正因为有了今天 “大数据的量”，才使得未来工业、农业、商业、科研、医疗、文化、国防、反恐等诸多领域能够产生新的时代跨越。然而，人们同时也格外担忧，该如何面对 ...

在互联网高速发展的今天，很多人还没有搞清楚什么是PC互联网，移动互联网来了，我们还没搞清楚移动互联网的时候，大数据时代又来了。大数据已经无处不在，随之而来的就是大数据技术人才的急需，以下是关于大数据技术的面试问题，大家可以再面试前参考。单项选择题1. 下面哪个程序负责 HDFS 数据存储。a)NameNode b)Jobtracker c)Datanode d)second...

大数据时代处理数据理念的三大转变：要全体不要抽样，要效率不要绝对精确，要相关不要因果。　　大数据处理的流程具体的大数据处理方法确实有很多，但是根据笔者长时间的实践，总结了一个普遍适用的大数据处理流程，并且这个流程应该能够对大家理顺大数据的处理有所帮助。整个处理流程可以概括为四步，分别是采集、导入和预处理、统计和分析，最后是数据挖掘。　　大数据处理之一：采集　　大数据的采集是指利用多个...

大数据在移动互联网时代显得越来越重要，一方面是因为用户的习惯碎片化的趋势明显，另一方面是因为在营销多元化情况下用户选择繁多。在大家都在探讨互联网思维的时候，如何用互联网思维来看待庞杂的大数据是人们需要思考的关键。互联网思维看待大数据其实是万变不离其宗即离不开的数据挖掘和分析应用。个人数据才是大未来如今很多数据都通过洲际间海底光缆来传输，这是地理位置之间的传输。但今后很多数据会留在本地进行...

我们是Hadoop很早期的用户。我认为现在Hadoop的应用已经很广泛了。我认为Hadoop一定会得到普及，只是还需要一些时间。Hadoop架构会在企业内大规模实行吗?因为有时看起来它难以突破自己细分领域技术的局限。Joe Caserta：我们是Hadoop很早期的用户。我认为现在Hadoop的应用已经很广泛了。我认为Hadoop一定会得到普及，只是还需要一些时间。首先，目前的技术，比...

大数据是当今一个最热门的话题，我们每一个人都无法置身其外。调研公司IDC 的定义可能比较容易被人们所接受。它对大数据的定义是：一种新一代的技术和架构，具备高效率的捕捉、发现和分析能力，能够经济地从类型繁杂、数量庞大的数据中挖掘出色价值。大数据已经成为各类大会的重要议题，管理人士们都不愿错过这一新兴趋势。毫无疑问，当未来企业尝试分析现有海量信息以推动业务价值增值时，必定会采用大数据技术。...

目前并没有像之前被广泛宣传的那样，存在大数据的成功实现。在这一点上，我觉得这是由IT部门导致的。多数大数据项目的问题是由于技术人员(而不是业务人员)缺乏对于架构调整的理解和对未来商业的憧憬而造成的。本文作者Armel Nene大数据公司ETAPIX Global创始人，在软件开发和数据架构领域有多年经验，熟悉Java、SOA、BI、企业搜索和数据仓库，同时也是开源贡献者，曾在诺基亚、Ta...

无论是在构建大数据的应用程序，还是仅仅只想从开发的移动应用中得到一点点启发，程序员现在比以往任何时候都需要数据分析工具。这绝对是一个好东西，所以很多公司从程序员的需求和技能出发，构建了一些数据分析工具。在过去的几年里，Derrick看到了很多初创公司，各类项目以及开发工具等等，它们都旨在为程序员带来先进的数据分析能力。有时候，程序员们会使用简单的脚本开发出强大的显示效果，或者在开发过程中使用...

英特尔大数据首席架构师 戴金权在戴金权看来，Hadoop将MapReduce分布式计算和大数据技术带入主流应用。但随着大数据需求和使用模式的推广，Hadoop已经暴露诸多局限性。特别是越来越多的数据应用，如需要对数据进行准实时的深度挖掘和分析时，业内需要超越MapReduce的全新大数据分析模式。也正是看准了Spark的发展趋势，英特尔早在2-3年前就已经和UC Berkeley一起紧密合...

百度研究院副院长，深度学习实验室主任，图片搜索部高级总监余凯发表的演讲“大数据人工智能”。百度研究院副院长，深度学习实验室主任，图片搜索部高级总监 余凯以下为演讲实录：下面，我可能更多从实践的方面去跟大家分享一下百度在大数据、人工智能我们最近的一些工作，包括我们对这些方面的一些思考。2014年8月14日，麻省理工学院科技评论杂志介绍百度的人工智能之梦，文章题目叫《一个中国互联网...

大数据公司早已具有影响世界的能力，只不过这些现实并没有放到正面的大舞台上才让人们觉得这些公司很低调。而如今，低调已不再需要，是时候展现大数据在这个时代的威力了。目前全球大数据企业主要分为两大阵营。一部分属于单纯以大数据技术为核心的新兴企业，希望为市场带来创新方案并推动技术发展。另有一些原本打理数据库/数据仓储业务的老牌厂商，他们打算利用自身优势地位冲击大数据领域，将现有安装基础及产...

“为什么很多公司都采用Hadoop方案处理大数据业务”，引来很多回答，笔者整理如下，其观点或有时而可商，欢迎讨论。先说一说什么样的公司比较倾向于使用Hadoop。有人认为，使用Hadoop的前提是自身有没有收集并分析数据的需要，并且数据量是否一直在增长并且不可丢弃。目前看起来，此类数据多数为日志数据，分析用户习惯，或者就是传感器之类的数据，分析环境等监控内容的变化规律。也有很多公司不使用...