liju_yang的博客

已经2022年，还要谈“大数据”吗？答案是：不仅要谈，而且随着网络应用日益深化，大数据应用的影响也日益扩大。信息科技经过60余年的发展，已经渗透到人们生活的方方面面，政治、经济中很大一部分的活动都与数据的创造、采集、交换共享和应用相关。产业需要变革，行业需要互通互融。所谓“大数据+”，就是将大数据思维嫁接到不同的产业中，推动大数据在各行各业落地。大数据不仅只关系到IT行业，而且众多行业龙头公司都已经意识到了大数据新思维的巨大冲击。根据前瞻产业研究院《中国大数据产业发展前景与投资战略规划分析报告》

在国务院发布的《“十四五”数字经济发展规划》中指出，数字经济是继农业经济、工业经济之后的主要经济形态，是以数据资源为关键要素，以现代信息网络为主要载体，以信息通信技术融合应用、全要素数字化转型为重要推动力，促进公平与效率更加统一的新经济形态。根据《规划》，到2025年，数字经济迈向全面扩展期，数字经济核心产业增加值占GDP比重达到10%。这无疑是释放了重大利好，受此影响，大数据、软件开发、区块链、边缘计算等多板块盘中走高。《规划》指出数据要素是数字经济深化发展的核心引擎。数据对提高生产效率的乘数作用不断

大数据时代这个词被提出已有10年左右了，越来越多的企业已经完成了数字化转型，或在转型中。其普及原因一是因为大数据价值在越来越多的场景中被挖掘，二是因为大数据平台的搭建门槛也越来越低：借助开源的力量或寻求技术专业经验丰富的服务商，就可以搭建起一个“物有所值”的大数据平台。但是，还是会经常客户那里收到的最常见问题之一是“我如何构建我的数据平台？”探码科技作为专业的大数据技术服务提供商，致力于为政企提供数据采集、数据分析、数据应用和数据可视化等全产业链综合服务。本文将从公司的技术以及经验，讲解构建大数据平台的

在《定制化大规模网络数据采集的一站式解决方案》一文中，已经介绍过关于Dyson大数据采集平台的工作流程，以及展示了部分的案例实图。本文将详解探码Dyson大数据采集平台的详细功能。Dyson 网络数据采集系统适用于多源数据采集，可以定制化开发并私有化部署的大规模网络数据采集系统。系统提供从数据采集，爬虫撰写，任务调度，数据清洗合并到数据存储一站式服务，让政府和企业能够快速获取海量的目标数据。系统整体功能系统可做公开互联网数据采集、全文检索、操作日志，同时考虑到实施中可能会与多个其他系统数据.

21世纪最性感的工作如果“性感”意味着拥有广受欢迎的稀有品质，那么数据科学家就是最性感的人。优秀数据科学家的市场竞争激烈，这使得他们难以招聘且成本高昂，甚至更难留住。目前，具备科学背景、计算和分析技能的人并不多。这类似于 80 年代和 90 年代的量化短缺，当时大银行为任何具有物理和数学技能的人支付巨额资金。最终，随着教授数据科学的大学课程的兴起，数据科学家的供应将赶上需求，工资将趋于平稳。但与此同时 - 保持性感的家伙！它为何是“21世纪最性感的工作”？就要从核心关键词“数据”开始娓娓道来。

在《解码Datale.数塔一站式数据应用平台》一文中介绍了数塔平台的基础设施以及优势，数塔平台是一站式大数据研发管理平台，快速搭建企业数据中台。那么企业建设数据中台，至少应有的数据应用平台核心模块是哪些呢？数塔是一站式数据应用平台，平台深度封装数据交换、数据开发、数据资产、数据服务、数据共享工具，构建企业数据中台的数据资产化体系和资产服务化体系，打造企业数据资产管理及数据共享开放能力，解决企业数据存、通、治、用的问题，提升企业数据治理及应用效率，赋能企业数字基础建设，让企业的数据用起来。数塔数据

客户体验（CX），也叫用户体验。顾名思义，就是用户使用产品/服务或者品牌互动后的最直接的感受。这种感受包括：操作习惯、使用后的心理想法等等。虽然客户体验肯定是在业务中开始的，但内部的努力只会使您半途而废。现实是这样的：在确定他们在公司中的体验时，客户是法官、陪审团和执行者。因此，重要的是要注意用户在“旅程”的每一步。这包括刻画的信息（市场营销），说服他们购买（销售）时使用的方法以及在消费者购买您的产品（客户服务）后保持积极关系的努力。要学习如何改善客户体验，必须讨论良好的客户体验是什么样的，持续

随着数字化转型唱响的高歌，越来越多的传统企业开始思考并付诸行动。尤其是大型的传统企业，更是率先行动。在谈到数字化转型的时候，少不了数据支撑，谈到数据，少不了数据中台的建设。那么企业需要怎样的数据条件才能建数据中台的呢？经过项目实施经验总结主要有两大点：一、从数据成熟度来看具有良好的数据底子，拥有丰富的数据维度； 企业的各业务板块都有数仓和报表，需面向集团构建统一的数据管理平台； 多个大数据场景，例如：阿里、淘宝、天猫、支付宝等多个业务板块的场景二、从业务性质来看ToC业务，且业务运营非常依

这个时代，区块链和大数据是许多公司日程中的重要新兴技术，两者在未来都将改变企业和组织的运营方式。在过去，区块链和大数据还有其他的技术都是以一种单独的方式进行开发，乍一看可能会认为这些技术是互斥的，但是这个观点正在迅速改变。同时，越来越多的人期望分布式账本帮助企业最终掌握大数据，而大数据迄今为止正面临许多挑战。区块链和大数据本身都具有强大的功能，但是如果结合起来，它们可能会带来大量的机会。甚至有人说，区块链和大数据是“天造地设”的一对。在本文中将讨论这两项创新技术强强联合能带来什么火花？同时区块链

企业有效地获取网上有用的信息并充分利用对于业务决策至关重要。但是，当今互联网上有超过20亿个网页，手动收集大数据是不可行的。最简单的解决方案：网页抓取。什么是Web 数据采集？Web 数据采集是从网站获取大量公共数据的技术，并将采集的数据转换为客户想要的格式，比如HTML，CSV，Excel，JSON，Txt等等。在Web采集过程主要包括3个部分：通过HTML网站解析 提取所需数据 储存数据Dyson 网络数据采集系统适用于多源数据采集，需要定制化开发并私有化部署的大规模网络数据采集系统.

随着数据爆发井喷式的增长，越来越多的企业认识到数据的重要性，把数据当作数据资产。但数据不等于数据资产，数据必须以合理、易用、安全和易于理解的方式组织起来，能为业务注入有效的价值才能作为数据资产。所以数据变成数据资产的前提是有着完整的数据标准管理、数据质量管理、数据安全管理、易于使用的元数据管理和持续产生数据价值管理的从数据产生到销毁的数据全生命周期管理体系。数据全生命周期管理简单的来说，要想实现数据资产化，首先要做好数据数据全生命周期管理，其中主要的阶段包括了从数据采集、处理到分析应用的全流程，从而

背景十四五规划，企业数字化转型势在必行，数据治理和数据资产建设是转型的必经之路。传统企业对数据的需求早已不只停留于传统IT属性,而走在数字化前端的互联网企业，也开始探索如何实现商业智能和数据智能的价值最大化。如何用好企业的内外部数据？如何将这些散乱的数据汇聚整合？如何通过数据治理建立企业的数据资产？最终实现数据驱动软件智能已经成为企业数字化转型的刚需。在数字化转型过程中，探码科技认为首先要做好的是业务系统数据线上化，实现各数据连通；通过业务数据驱动企业提效和增长创新，完成业务系统智能化。在这个过程中

企业需要数据才能蓬勃发展。高质量数据可为企业提供关键见解，并在很大程度上影响其决策制定。但是，在哪里可以找到高质量数据？尽管企业的许多数据都来自内部来源，例如CRM和ERP软件，但更多的还是来自网络外部。实际上，Web是最大的数据存储库。数据世界中的整体数据量已显著增长，并且没有放缓的迹象。专家表示，它的规模每两年翻一番，从2013年的4.4兆字节增长到2020年的预测的44兆字节（或44万亿GB）。但是，此数据是非结构化、无组织的、并且缺乏一致性。要充分利用它并收集其非常有价值的见解，就必须有

随着大数据在商业世界中变得越来越普遍，许多Web数据术语被遗忘了，其中许多术语我们并不清楚它们的含义。什么是数据挖掘？数据挖掘和预测分析之间有区别吗？两者有什么关系？所有这些都是很重要的问题，理解以后就可以科学的使用数据来造福企业。如果企业希望通过有效的利用Web数据来预测未来趋势而增加商机，那么了解Web数据中使用的各种术语至关重要。数据挖掘和预测分析是有助于建立强大的数据驱动决策的流程，是两个经常使用的术语，甚至有时在数据应用场景中可以互换使用。但是要注意的是，预测分析不仅仅限于数据挖掘，还包括了使

2020年8月25日（星期二），由四川省经济和信息化厅指导，四川省大数据产业联合会主办，成都信息工程大学软件工程学院协办的中国大数据应用大会之中国大数据应用实践高峰论坛（以下简称高峰论坛），在成都世纪城国际会议中心成功举办。高峰论坛邀请了四川省内大数据、云计算、人工智能、区块链等领域政府部门主管领导、专家学者、产业领袖、应用人才，以及各行业广大用户参会，论坛围绕大数据技术创新与最新成果，共同探讨和推动大数据、云计算与智能技术的深入融合，探寻大数据发展的时代变革、打造高端专业的大数据交流服务平台。

项目背景当前，我国正处于工业化中后期和城镇化加速发展阶段，发达国家一两百年间逐步出现的环境问题在我国集中显现，一些地区污染排放严重超过环境容量，突发环境事件高发，环境安全形势严峻。国家高度重视环境应急管理工作，将环境应急管理列为《国民经济和社会发展第十二个五年规划纲要》的重要内容。《国家环境保护“十二五”规划》提出了“加强重点领域环境风险防控，加强环境预警与应急体系建设”的总体目标。《国务院关于加强环境保护重点工作的意见》（国发[2011]35号）中明确提出了“有效防范环境风险和妥善处置突发环境事件..

项目背景某集团作为一个世界500强企业，在能源、化工和信息通信产业是名副其实的领导者，引领了国家基干产业地发展。集团拥有一个庞大的客户群体及供应商群体，而实时有效地掌握这些不同产业及企业信息，为集团发展及领导的重要决策做有效地数据支撑，是集团快速、稳定、可持续性发展中一项重要依据。为了促进集团更好地发展，实时了解当前时势形态，顺应集团良性发展，有效对行业生态内企业进行监测与管理，是为集团运营化解风险、找到机遇、创造更多的利润与价值的一项重大举措。平台功能需求基于项目背景，集团需要建设企业舆情

从2020年伊始，“新基建”便被热捧为焦点，并在最近的一次关于新基建的会议中首次提到了“大数据中心”。那么“新基建”具体指什么呢?“新基建”主要指以5G、人工智能、工业互联网、物联网为代表的新型信息数字化基础设施，能够支撑传统产业向网络化、数字化、智能化方向发展的信息基础设施。按照这个解释，大数据中心将对“新基建”起着核心的支撑作用，这也为大数据产业发展按下加速键。新基建下，大数据产业迎来了新机遇。一是大数据基础设施建设提速；二是大数据开放共享程度加深；三是大数据应用场景拓广。因此，未来多类型数据跨界融

目前，大数据和数据分析对于政府和企业而言都是至关重要的资源。在很大程度上，由于云计算的发展，企业现在可以实时跟踪和分析业务数据量，并相应地对其业务流程进行必要的调整。随着行业深入到AI时代，那么企业最应该警惕哪些大数据发展趋势呢？鉴于大数据分析市场预计将来在未来几年将一致会是一个为企业带来利润丰厚的利器，那么这对企业开展业务的方式意味着什么？企业是否应该考虑利用数据分析啦推动业务发展？以下是影...

近年来，政策、网络购物高速增长及消费升级等因素驱动电商服务市场快速发展，2019年电商行业市场规模超过2万亿元，在经历最初的快速增长期后呈现稳健增长。一、电商平台品牌建设将面临更高要求根据艾瑞咨询发布的《2019年中国品牌电商服务行业研究报告》，中国电商行业将继续保持稳健增长，头部效应逐渐凸显，行业集中度将进一步提高，整个行业迈入品质发展阶段，更加注重精细化运营。腰部以及刚成立的电商平台公...

陈春花老师的一场在线演讲《激活自我：让知识为自我赋能》中，提到陈述事实的数据，经过加工处理后形成信息，通过鉴别后的信息形成知识，通过行动得以验证的知识并给予决策便是智慧，这就是知识流动链。在这信息爆炸的时代，这个充满知识的时代，人们对知识充满渴望，却又应接不暇；我们进入了不确定的时代，迭代加快，不断出现新增知识，我们却又认知盈余，出现选择障碍；碎片化信息碎花化时间导致时间稀缺；同时，对知识验证...

我们正处于数据革命之中，现在，几乎所有行业都能够在运营转型中，利用数据变得越来越敏捷。对于那些知道如何正确使用它的人来说，这可以带来更好的决策和竞争优势。尽管传统数据可以带您走远，但某些组织正在做得更深入，并利用另类数据的力量，有了很好的结果。什么是另类数据？在了解另类数据之前，我们先看一个生动的案例：互联网、大数据和卫星图像是如何帮助到对冲基金投资的？这个案例恰当的将卫星数据运用到了...

什么是另类数据？另类数据是投资过程中使用的非传统数据，它使得越来越多以前无法收集的信息变成了可以分析的数据 ，而从这些杂乱无章的信息中找到规律的能力也变得无比强大。另类数据是用于金融交易的非传统性数据，可以寻求全球量化独有价值，并获取超额的市场收益。它是传统金融数据的补充，可以提供不同视角的市场洞察，提升数据模拟准确性。另类数据在金融领域的作用比喻为“新石油”，因其就像石油对于国民经济的...