社会商业智能流式分析架构

信息学

文章为社会商业智能建模分析流

因迪拉·兰扎‐克鲁兹 1 ID,拉斐尔·贝尔兰加 1,* ID和玛丽亚·何塞·阿拉姆布鲁 2
1哈乌梅一世大学计算机语言与系统系,西班牙卡斯特利翁‐德拉普拉纳12071;lanza@uji.es2哈乌梅一世大 学计算机工程与科学系,西班牙卡斯特利翁‐德拉普拉纳12071;aramburu@uji.es*通讯作者: berlanga@uji.es;电话:+34‐964‐72‐8367
收到日期:2018年6月25日;接受日期:2018年7月23日;发布日期:2018年8月1日

摘要:

社会商业智能(SBI)使企业能够从公开的社交网络中获取战略信息。与传统的商业智能 (BI)不同,SBI必须应对社交网络内容和企业分析请求的高度动态性,以及海量的噪声数据。要 有效利用这些连续的数据源,需要对流式数据进行高效处理,并将其语义化为具有洞察力的事实。
本文提出一种多维形式化方法,用于直接从事实流(由社交网络数据衍生而来)中表示和评估社会 指标。该方法基于两个核心方面:通过关联开放数据实现事实的语义化表示,以及支持类OLAP的多 维分析模型。与传统的BI形式化方法不同,我们首先根据企业的战略目标建模所需的社会指标;基 于这些规范,对所有必要的事实流进行建模并部署,以追踪相关指标。该方法的主要优势在于可便 捷地定义按需社会指标,并通过流式事实处理变化的维度和指标。我们通过引入汽车行业中的一个 真实用户案例场景,验证了该方法的有效性。
关键词 :社会商业智能;数据流模型;关联数据

1.引言

商业智能(BI)的主要目标是从不同数据源提供的信息中提取战略知识,以支持决策过程并帮助 企业实现其战略目标。面向BI的海量数据处理与分析在近年来不断发展。传统上,最常用的方法结合 了数据仓库(DW)、在线分析处理(OLAP)和多维(MD)技术[1],,应用于非常特定的场景,依 赖静态且结构良好的企业级数据源,所有信息都被完全物化,并以批处理模式定期处理,供后续分析 使用。最近,探索式OLAP的新技术被引入,旨在利用半结构化的外部数据源(例如,XML、RDF), 用于发现和获取可与企业数据结合以支持决策过程的相关数据。

如今,与决策相关的商业智能流程受到社交媒体趋势的影响,后者为产品和服务提供了即时的用 户反馈。社交网络是信息生态系统的基本组成部分,社交媒体平台在用户、消费者和企业中实现了前 所未有的覆盖,为任何专业环境提供了有用的信息渠道。由于上述原因,从商业和科学角度开发解决 方案的兴趣日益增长。然而,存在一些特殊性,使得无法直接

信息学2018,5,33;doi:10.3390/informatics5030033 www.md p i.com/ j ournal/informatics
本文档由funstory.ai的开源PDF翻译库BabelDOCv0.5.10(http://yadt.io)翻译,本仓库正在积极的建设当中,欢迎star和关注。
信息学2018, 5, 33 2共17页

直接采用传统的商业智能技术的原因是,待分析的社交数据被视为大数据(即数量大、无边界、异构、 半结构化和非结构化数据、易变性以及高速或流式特性)。

用于大数据分析的新方法和架构也得到了发展。目前,我们可以明确区分两种趋势,即:传统和 流式分析架构用于大数据。第一种在文献中应用最为广泛,它将各种大数据源集成到基于多维方案 (数据仓库/联机分析处理)的原始数据存储库中。所有信息都存储在历史存储库中,尽管有时数据的 动态性会导致资源浪费。数据处理以批处理方式进行,导致商业智能系统发出警报较晚,并延迟了决 策过程。

一种更新的方法,符合当前大数据处理的需求,更加注重信息的速度和即时性,通过流式处理数 据,并根据设计的模型,结合批处理分析过程以生成知识模型。这样,它们可以提供来自模型的新鲜 分析数据和丰富信息。仅存储知识模型所需的信息,从而优化内存使用。

然而,这些方法仍处于开发阶段,文献中探讨的方法主要针对解决非常具体的问题,将流处理引 擎(SPE)与OLAP系统等技术相结合。遇到的主要困难在于独立开发的技术的部署,以及通过临时流 程进行连接,这可能导致信息不必要的重复和性能下降。分析维度以静态方式处理,而大数据的本质 具有动态性和无限的多维性。这些方法既不是整体解决方案,也不具备可扩展性或可伸缩性。

因此,本文的目标是提出一种用于大数据分析的通用架构,以支持对流式动态多维数据的处理。
本工作的主要贡献可概括如下:
- 我们对社会商业智能提出的主要方法进行了全面的修订。
- 我们提出了一种专门面向社会商业智能的流式架构。
- 我们提出了一种用于社会商业智能的分析流建模新方法。

本文其余部分组织如下。在第2节中,我们回顾了与社会分析解决方案相关的工作,识别出文献 中所涉及的主要分析方法和任务。第3节介绍提出的架构,第4节介绍基于汽车领域的用例的原型实 现。最后,第5节给出了主要结论。

2.社交分析的方法与任务

大数据的处理与分析仍是一个非常年轻的研究领域。最近,一些作者提出了用于流数据处理的若 干架构,其中包括流式分析、Lambda、Kappa和统一架构[2]。迄今为止,这些提案尚未成为标 准,因为它们尚未经过充分评估,也未在多个领域得到验证。在选择架构时,必须明确了解需要建模 的使用场景。为了开发一种能够覆盖广泛大数据分析任务的通用架构,我们开展了一项最新进展 研究,识别出主要任务及用于处理这些任务的最常用方法论。我们的综述重点关注那些提出流式处理 社交数据解决方案的相关文章,特别是那些由推特的API服务提供的数据。

表1总结了与分析任务相关的研究发现。在回顾的文献中,我们确定了一组被划分为六个主要类 别的分析任务:情感分析、用户画像、帖子画像、事件检测、用户网络交互和系统推荐。这些任务大 多关注行为模式和特征的分析,这些特征可以被编码并采用机器学习技术进行分类。不同类型的特征

信息学2018, 5, 33 17中的 3

类别通常用于捕捉分析对象(例如,用户、帖子、事件)的正交维度,如表2所示。

类别 分析任务 特征类别 参考文献
情感分析 情感指标。通信分析。用户,群组,社区,社会。特征描述 人类 ,社会和文化行为。帖子内容 [3–6]
用户画像 作者画像,用户分类。推断用户属性(年龄、性别、收入、 教育等)。政治倾向、种族和商业 粉丝检测。用户兴趣识别。 用户指标,帖子内容, 帖子指标, 情感, 网络 [7–10]
垃圾邮件发送者、机器人检测、推广者、影响者 检测。 All [11–17]
帖子画像 活动、话题、垃圾信息、模因、讽刺、谣言, 恐怖主义检测 帖子、链接、突发 [18–23]
事件检测 基于位置和时间的实时事件检测, 事件分类,抗议和示威 疾病和灾难检测,研究 城市之间的人口迁移。趋势的实时分类。 帖子内容,帖子指标, 话题标签, 位置,时间,爆发 [18–23]
社交分析 网络和用户 互动 社交网络中的影响和相关性,社交 网络动态、网络和节点 分类 ,检测有影响力的节点。 图网络, 用户指标 [24]
推荐 系统 用户、新闻、媒体推荐。 用户指标,帖子指标, Time [25]

表2.社交分析不同任务中使用的特征类别[14]。

类别 描述
用户指标 用户特征指的是与社交网络上的用户账户相关的元数据。您可以 包括地理位置、好友列表、提及次数等数据。
帖子内容和指标 帖子特征可以分为两个主要部分:文本内容和帖子元数据。通过文本可以分析其内容,并基于语言识别线索 利用自然语言处理算法的特征。从文本中也可以 提取链接、话题标签或嵌入多媒体。另一方面,元数据指的是用户与帖子互动的记录,例如 回复数量、转发、点赞或发布日期。
网络 网络分析的最初目的是捕捉其宏观结构的基本特征。在微观层面,网络分析人员关注个体节点的重要性。网络 特征捕捉了信息传播模式的多个维度。统计特征可以 从转发、提及和话题标签约现中提取。从全局网络中, 可以提取节点数量、边数量、密度和直径等指标; 主要任务包括基于度、中介中心性和接近中心性的节点和边分类; 另一方面,进行分析以寻找社区并比较 典型节点[26]。
爆发 爆发是指推文数量突然急剧增加的特定时刻。突发性是一种时空特征。我们可以度量一个关键词在时间上的突发性程度 一个位置,以及在具体时间上成反比的情况下,我们可以度量空间突发性[15,19]。
Time 时间特征捕捉发帖及帖子互动(例如,回复、转发)的时间模式。点赞);例如,两次连续发布之间的平均时间。
情感 情感特征是通过情感分析算法从帖子内容中构建的。它也是 可以使用评分、情感和满意度得分等指标。

下面我们总结从推特处理大数据的主要方法。我们将现有方案分为智能数据处理的两种主要方法, 即:语义增强和归纳处理,分别如表3和4所示。由于某些方法同时包含这两种元素,因此我们也介 绍融合了这两种主要方法思想的方案,这些方案也列于表4中。

信息学2018, 5, 33 4of17

表3.使用语义增强的智能社会分析方法。
模型类型 KFC LOD 参考文献 任务类型
社会商业 智能, 批处理, 基于OLAP 社会事实 本体,ETLink, OLAP,分析 Tool RDF [3,27,28] 情感分析。实体抽取,关键词 抽取,事件,和话题检测。
OLAP+ ETL+ 分析工具 No [29,30]
SMA 1, 立方体建模, 批处理 OLAP No [23] 社交媒体数据的时空分析。疾病和灾难检测。研究 人口迁移。
文本立方体 批处理 OLAP No [4] 情感分析。研究人类、社会和文化行为。
RDF流。 流式 处理 R2RML映射 RDF流 [31] 在Web上发布和共享RDF流。
流式链接 数据服务器+ HTML5浏览器 RDF流 [32] 情感分析 本地事件监控 话题排名 1社交媒体分析。
表4.使用归纳处理和混合方法的智能社会分析
模型类型 KFC 1 链接开放 数据 2 参考文献 任务类型
社会媒体情报 3 , 批处理 机器学习框架 No [8] 政治倾向、种族和商业 粉丝检测
SMI, 流式处理 在线模式 , 批处理模式,事件 排序器 No [19] 实时本地事件检测
StreamCUBE批处理 处理 基于磁盘的存储 时空 聚合, 话题标签聚类, 事件排序器 No [18] 用于事件探索的时空话题标签聚类 事件探索
(混合)RDF 流式流 处理 数据流管理系统 4,抽象器 数据流管理系统,演绎 和归纳 推理机 RDF流 OWL2‐RL [25] 用户画像和媒体推荐 使用演绎和归纳推理。

1关键框架组件。 2关联开放数据。 3社交媒体智能。 4选择器数据流管理系统。

提供语义增强是指提取帖子文本和元数据中隐藏的语义信息。语义增强通过结合不同的(可能 是替代性的)技术来实现[29]:爬虫元数据、信息检索、爬虫情感分析、自然语言处理分析以及领域 专家。

文献中基于归纳处理修订的方法采用了不同的技术,如图1所示,用于解决需要更深入学习的更 复杂任务,例如实时事件检测、用户和帖子画像、营销活动、垃圾信息发送者或机器人检测,以及推 荐系统的开发。

信息学2018,5,x5of16

示意图0

我们还确定了一些重要的分析维度,用于对各项内容进行分组和区分 已审阅的工作,即:模型类型、系统是否进行流式处理、关键框架 组件(KFC),以及它们是否使用了关联开放数据(LOD)技术。最后几列 在每个表格中列出每种提出的方法所开发的具体分析任务。

尽管在表3和表4中我们指出了几种车型,但其中三种是
会

信息学2018, 5, 33 17中的 5

我们还确定了一些重要的分析维度,用于对所综述的工作进行分类和区分,即:模型类型、系统 是否进行流式处理、关键框架组件(KFC),以及是否使用关联开放数据(LOD)技术。每个表格的最后 一列列出了每种提出的方法中所开发的具体分析任务。

尽管在表3和4中我们指出了多种类型的车型,但其中有三种值得提及,因为它们真正代表了处 理大数据的技术解决方案的演进:首先是社交媒体分析(SMA),然后是朝着社交媒体智能发展的方案, 直至达到社交媒体商业智能。

与SMA相关的工作主要提出了用于捕获、监控、汇总和可视化社交指标及情感分析的工具和框架, 通常旨在解决特定的用例。需要强调的是,已有的研究工作已逐步发展出更高效的机制来组织信息: 社交数据被建模在多维方案内,将语言特征和情感指标组织成立方体数据模型,从而便于从多个角度 进行查询和可视化。这些方法通常集成多个引擎以实现对演变的数据流的OLAP,计算和聚合通过批 处理完成,因此数据分析是延迟进行的。

另一方面,社交媒体智能的目标是从上下文丰富的应用环境中获取社交媒体中的可操作信息,开 发相应的决策支持框架,并为能够利用社交对话内在知识的应用提供架构设计和解决方案框架[33]。

本研究综述的解决方案主要在批处理中使用归纳过程,因此无法实时获得洞察。最常用的分析任 务包括事件检测、用户和帖子画像以及非常简单的推荐系统。尽管企业及不同专业领域对此类研究的 兴趣日益增长,社交媒体智能的研究仍处于发展的早期阶段。

在社交商业智能领域,文献中的相关方法非常少。在这方面,我们强调[3,29],的贡献,他们提出 了通过整合社交数据来利用商业智能的框架。在研究[29],中,作者提出开发一种用于社交媒体分析的 OLAP架构,而[3]则提供了一种基于语义LOD的数据基础设施,用于以RDF格式捕获、处理、分析 和发布社交数据,使其能够被BI系统轻松消费。这两者都采用了传统方法,因为它们的架构不对数据 进行流式(实时)处理,而是将所有信息物化到存储中,因此适用于高延迟使用场景。

在所回顾的文献中,实际上进行流式处理的解决方案很少,分析任务主要面向事件检测[19]和推 荐系统[25]。值得注意的是,这两项工作都利用了语义网(SW)技术对处理的数据进行结构化增强, 从而支持在其上执行推理任务,并便于与外部资源建立链接。它们通过提出以RDF流的形式共享语义 信息,将LOD技术提升到了一个新的水平。然而,系统性的研究和经过充分评估的结果仍然缺乏。

文献[34]提出了一种用于大数据处理的扩展Lambda架构,该架构包含一个语义数据处理层,并 且与我们的方案类似,建立了利用来自不同源的元数据对原始数据进行语义增强的机制。批数据处理 与流式处理并行执行。在速度层,事件经过验证后被路由至实时处理或批处理。与先前的解决方案相 比,我们的架构允许两个并行阶段之间相互反向优化(见第3节),以提升各自的过程性能。此外,我 们增加了一个由数据科学家实现的智能数据处理算法的集成层。我们对流类型和流工作流进行建模, 以促进数据处理和面向社交商业智能的分析。另外,查询只需在一个单一服务位置进行搜索,而无需 分别在批处理视图和实时视图中查找。

社交媒体数据是数量快速增长的动态流,因此有必要为其处理创建高效机制。目前大多数方案都 集中在解决封闭情境下问题的社交媒体分析,而未能解决动态性问题。

信息学2018,5,33 6of17

社交数据的多样性与速度。从这个意义上说,仍然有必要建立机制,以动态地发现和添加新的分析维 度以及新型事实。有必要创建根据上下文对数据进行分类的机制。有必要解决语义一致性检查、冲突 检测、结构缺失以及在相同基础设施中集成不同类型数据和组件的困难等问题。

为了解决上述问题情况,本文提出了一种统一的通用架构,以促进易于与BI系统集成的智能社交 分析系统的部署。在此意义上,利用语义网技术将数据流建模为多维模型,有助于系统间结构与数据 的集成。

遵循[35],的指导方针,我们现在将列出提出的架构必须满足的需求:
- 保持数据流动。为了支持实时流处理,消息必须以流方式处理。由于社交数据的延迟较低,系统必 须能够动态处理数据,并避免高成本的存储操作。
- 支持即席流查询以过滤出感兴趣事件并执行实时分析。支持高级查询语言以获得连续结果,并设置原 语和运算符来管理常见流属性(如数据窗口大小和计算频率)。一些流式语言包括StreamSQL和 C‐SPARQL。
- 建立处理流缺陷的机制。在实际应用中,流数据可能乱序到达,存在延迟,出现信息缺失或以错误 格式到达。系统必须能够识别错误类型,并为每种情况提供自动解决方案。
- 它必须是健壮且容错的。第一个特性涉及处理执行错误和错误输入的可能性,从而确保输出符合预期 结果。此外,必须保证数据的可用性与安全性,以便在任何模块发生故障时,系统能够继续运行(为 此,最好在后台保留进程,并经常与主进程同步状态)。
- 支持静态数据与流数据的集成。流式架构必须支持来自两种基本状态的数据集成:用于存储和批处 理历史信息的长期阶段,以及用于生成流数据的短期阶段。在许多场景中,需要将当前状态与过去状 态进行比较,以从数据中获得更深入的洞察(例如,用于机器学习任务)。因此,有必要高效管理先 前状态的存储与访问。另一方面,并非总是需要永久存储历史数据,建议设置一个时间窗口以保留最 近的关注时间段,以便在发生流程故障时能够从最新的历史数据重新计算所有数据,从而实现容错支 持。
- 该系统必须可自动分区与扩展。也就是说,它必须能够自动地平衡进程过载,在线程中透明地分配 进程,而无需用户干预。
- 高速处理和响应。必须支持对大数据量的极低延迟流式数据进行高性能处理。

最后,我们引入了与链接开放数据技术的集成,以对数据的输入和输出进行语义增强。语义网技术能 够实现外部资源的链接与探索,用于相关数据的发现与获取(例如,发现新的分析维度)。另一方面, 将流数据按照链接开放数据的标准进行发布也很有必要,以便外部应用能够轻松理解。

3.提出的架构

在本节中,我们将根据前几节讨论的任务和需求,描述用于社交商业智能分析处理的提出的架构。

信息学2018, 5, 33 7(共17页)

首先,我们在架构中包含两类参与者,即:数据科学家和数据分析师。前者负责在数据流上定义 智能数据处理任务,而后者则负责在生成的度量流上定义分析任务,以追踪组织目标和指标。在此场 景下,数据分析师会向数据科学家提出请求,以从数据中推断出新的视角(例如,分类器),而数据 科学家则可以要求获取新的数据流来支持其分析过程。数据科学家的角色是定义、开发、实现和测试 归纳处理算法。如后文所示,分析数据流将由数据分析师定义,因为它们由分析事实组成。

另一方面,支持将流数据以某种标准形式发布也是很有用的 以便链接开放数据能够被外部应用轻松理解。

3.建议的架构架构

在本节中,我们描述了用于社交商业智能分析处理的提出的架构 根据前几节讨论的任务和需求,我们首先在架构中包含两类参与者,即:数据科学家和数据分析师。

前者负责在数据流上定义智能数据处理任务,而后者则负责在生成的度量流上定义分析任务,以追踪 组织目标和指标。在此场景中,数据分析师向数据科学家提出请求,以从数据中推断出新的视角(例 如分类器),而数据科学家可以要求获取新的数据流来支持其分析过程。数据科学家的角色是定义、 开发、实现和测试归纳处理算法。如后续所示,数据分析师将定义分析数据流,因为这些流由分析事 实组成。

示意图1

如图2所示,提出的架构允许在需要应用新逻辑时对历史数据进行分析的再处理。该架构大致对 应于Kappa流式架构[2,36], ,这是Lambda架构[37]的一种演进,旨在避免为批处理和实时流分别实 现两次功能。我们的架构基本上由两个流式阶段组成:一个长期阶段,用于将近期的历史信息作为持 续时间较长的数据流保存;另一个短期阶段,包含一些工作流,用于实时生成所需的分析数据。在我 们的场景中,数据科学家从长期阶段获取训练数据样本用于其算法,并在短期阶段的数据上进行测试。

数据分析师通常通过服务层消费来自短期阶段的数据。长期阶段还用于在流工作流需要重新配置或更 新时恢复数据。在这种情况下,当短期阶段停止生成数据并重新启动时,需要重新计算存储在长期阶 段的所有收入数据。

在我们的 proposal,源数据流是语义的 y通过丰富 g一系列词汇表 为分析任务生成有用的数据。同样,所有生成和消耗的数据流都是事实性和语义性的,因为它们由与 多维分析模型元素相关联的事实和维度数据组成。这使得整个系统能够维护流数据模型。

示意图2

在我们的方案中,源数据流通过一系列词汇表进行语义增强,以生成适用于分析任务的有用数据。
类似地,所有生成和消费的数据流都具有事实性和语义性,因为它们由与多维分析模型元素相关联的 事实和维度数据组成。这使得整个系统能够根据输入数据和分析模型保持流数据模型的更新。任何两 者之间的差异都将触发相应工作流的更新和重新配置。

在Lambda架构中,批处理层是一个存储原始数据的仓库,这些数据在到达后将按一定时间间隔 由批处理过程进行处理,并且这些过程是长周期的。所存储的数据将通过迭代算法进行处理,并根据 分析需求进行转换[34]。而速度层用于计算实时视图,以补充服务层中的批处理视图。批处理层主要 用于生成没有严格延迟约束的结果,并纠正速度层中产生的错误。在需要时,采用Kappa架构,

信息学2018, 5, 33 17中的8

批处理层还为实时层提供数据,因此实时和批处理均由同一个实时数据处理模块执行。

相比之下,在提出的架构中,数据始终作为连续流进行处理。与Kappa架构类似,其思想是在单 一的流处理引擎中同时处理实时数据处理和重新处理。与Lambda和Kappa架构不同的是,长期阶段 是一个可用于两个目的的临时数据缓冲区:第一,作为机器学习算法的连续输入,其输出在短期阶段 的预处理和后处理过程中被使用;第二,它也可用于系统故障或流工作流重新配置时的数据恢复。短 期阶段对应于与Lambda和Kappa架构相同的速度层。

提出的架构为每种参与者提供了许多优势。首先,它明确建立了与系统及参与者之间信息交换的 流程和渠道。其次,由于预处理和后处理过程(见第3.1节),它大大加快了通信和信息交换速度,减 少了数据准备和数据收集的时间。第三,它便利了参与者的工作,使其能够按需获得符合其需求的结 果。许多数据准备和集成过程通常需要手动执行,而我们的架构可以实现这些过程的自动或半自动执 行。

在下一节中,我们将讨论如何对这些架构的元素进行建模,以构建满足社交商业智能任务的复杂 工作流。

3.1.流建模

在架构中,我们基本上区分两类数据流:源流和事实流。源流又分为数据流和链接数据流。数据 流直接连接到流入的社交数据源(例如,帖子、用户更新等),而链接数据流则利用语义上的流入数 据丰富化来适当地为分析准备数据。事实流位于短期阶段,主要目的是生成可直接使用的分析数据。
换句话说,事实流通过处理和聚合源数据,为数据分析师提供有价值的洞察。

事实流由源数据流提供支持。为此,它们需要将输入数据转换为多维事实。我们将这些转换称为 ETLink过程。ETLink这一名称源于传统的提取/转换/加载阶段,但与加载转换后的数据不同, ETLink会动态地生成关联数据图[3]。该过程需要领域本体和受控词汇表来对数据进行标注、标准化 和链接。由于这些语义源也可能随时间演化,因此我们需要第三种类型的流:链接数据流。

链接数据流直接连接到关联开放数据(LOD)端点,通过SPARQL查询[38]进行访问。尽管许多 LOD源是静态的,但目前存在向动态LOD(例如实时DBPedia[39]或实时BabelNet[40])发展的显 著趋势,从而确保提供新鲜的语义数据。如果一个LOD源在短期阶段为某个事实流提供数据,则必须 将其转换为多维模型。我们将此过程称为MD‐star过程。在文献中可以找到多种旨在将链接数据融入 多维模型的方法[28,41],,这些方法均可用于实现MD‐star过程。

示意图3

在图3中,我们展示了所提出的架构中前述流类型的图形表示。我们使用三个主要组件对每个流 进行建模:一个查询Q和两个可选过程(PRE和POST)。输入数据可以通过预处理操作进行预处理, 然后在得到的数据上执行查询Q,最后可以应用后处理操作以生成输出数据。先前定义的ETLink和 MD‐star过程是两种类型的后处理操作。

信息学2018,5,33 17中的第9个

信息学2018, 5, x 16中的9

在重新执行的结果数据,最终可以应用后处理操作来生成 输出 数据。先前定义的ETLink和MD‐星过程是两种后处理操作。

示意图4

In the情况o f factst reams, PRE and POST operations can only增加 new measures and dimension 在执行分析查询(MDX)之前(PRE)或之后(POST)的属性。PRE过程的一个示例是计算推文属 于该领域的推文概率。POST过程则基于聚合数据进行推理和计算,例如,在聚合相关帖子的指标后 确定用户画像。如图4所示,某些过程可以通过其他流获取其算法所需的新鲜数据。这包括k均值、 LDA等持续学习算法以及神经网络等一些机器学习方法。

示意图5

此外,任何流 m以其时间行为为特征 行为。基本上,每条流 定义了一个时间窗口和一个滑动间隔。时间窗口指明数据在流中需要保留的时长,而滑动间隔则表示 输出的周期性或频率。例如,一个时间为一周、滑动间隔为一天的时间窗口意味着该流保留过去七天 的收入数据,并每天生成一次输出。这两个参数取决于当前的分析任务,可以从MDX查询的规范中 推导得出。必须指出,在此场景下,MDX查询必须通过使用“现在”等相对标签针对时间维度进行 调整。这一问题同样存在于任何连续查询语言中,例如C‐SQL和C‐SPARQL[42]。采用此方法进行流 工作流建模具有多个优势:可以在执行前检查组件之间的一致性,且所得到的模型可以动态地
在处理数据时进行更新。例如,当源流中出现新维度属性/成员或新度量时,就需要进行模型更新。

3.2.多维一致性

检查多维度 一致性基本上意味着为每个推断出两个数据模式
流:输入数据模式(IS)和输出数据模式(OS)。注意,流转换过程包含三个步骤:(IS)PRE→Q→
POST→(OS)。从流定义中可以推断出IS是如何被转换为OS的,从而分析整个工作流的处理过程。

示意图6

对于事实流,PRE和POST操作只能在分析查询(MDX)执行之前(PRE)或之后(POST)添加新的度量和维度属性。PRE‐处理的一个示例是计算推文属于某一领域的推文概率。后处理操作则基于聚合数据进行推断和计算,例如,在聚合相关帖子的指标后确定用户画像。如图4所示,某些过程可由其他流提供数据,以获取其算法所需的新鲜数据。持续学习算法(如k均值、LDA)以及某些机器学习方法(如神经网络)即属于此类情况。

信息学2018, 5, x 16中的9

在得到的数据上执行,最终可以应用后处理操作以生成输出 数据。先前定义的ETLink和MD‐星过程是两种后处理操作。

示意图7

For fact streams, PREandPOSToperations can only add new measures and dimension attributes before (PRE) or after (POST) executing the analytical query (MDX). A PREprocess example is calculating the probability of a tweet belonging to a specific domain. The POSToperation infers and calculates based on aggregated data, for example, determining a user profile after aggregating metrics from related posts. As shown in Figure 4, certain processes can be fed by other streams to obtain fresh data required by their algorithms. Continuous learning algorithms (such ask-means, LDA) and some machine learning methods (such as neural networks) fall into this category.

示意图8

Additionally, any stream is defined by its temporal behavior. Basically, each stream defines a time window and a sliding interval. The time window indicates how long data needs to be retained in the stream, while the sliding interval represents the periodicity or frequency of output. For example, a time window of one week with a sliding interval of one day means the stream retains incoming data from the past seven days and generates output once per day. These two parameters depend on the current analysis task and can be derived from the specification of the MDX query. It must be noted that in this scenario, the MDX query must be adjusted for the time dimension using relative labels such as “now”. This is the same issue faced by any continuous query language, such as C-SQL and C-SPARQL[42]. Modeling stream workflows in this way has several advantages. Consistency between components can be checked before execution, and the generated model can be dynamically updated as data is processed. For example, when new dimension attributes/members or new measures appear in the source stream, a model update is required.

3.2.多维一致性

检查多维一致性基本上意味着为每个流推断出两个数据模式:输入数据模式(IS)和输出数据模式(OS)。请注意,流转换过程包括三个步骤:(IS)PRE→Q→POST→(OS)。通过流定义可以推断出IS是如何被转换为OS的,从而分析整个工作流的处理过程。

图4.流的建模工作流。

此外,任何流都由其时态行为所定义。基本上,每个流都定义了一个时间窗口和一个滑动间隔。
时间窗口指明了数据在流中需要保留的时长,而滑动间隔则表示输出的周期性或频率。例如,一个时 间为一周、滑动间隔为一天的流,意味着该流保留过去七天的收入数据,并每天生成一次输出。这两 个参数取决于当前的分析任务,可从MDX查询的规范中推导得出。必须指出,在此场景下,MDX查 询必须通过使用诸如now之类的相对标签对时间维度进行调整。这与C‐SQL和C‐SPARQL等任何连续 查询语言所面临的问题相同[42]。

采用这种方法进行流工作流建模具有多个优势。在执行之前可以检查组件之间的一致性,且随着数据的处理,生成的模型可动态更新。例如,当源流中出现新的维度属性/成员或新度量时,就需要进行模型更新。

3.2.多维一致性

检查多维一致性基本上意味着为每个流推断出两个数据模式:输入数据模式(IS)和输出数据模
式(OS)。请注意,流转换过程包含三个步骤:(IS)PRE→Q→POST→(OS)。从流定义中可以推断 出IS是如何被转换为OS的,从而分析整个工作流的处理过程。

信息学2018, 5, 33 10/17

流的输入结构(IS)将取决于其所消耗的数据流。更具体地说,流的输入结构(IS)是其所消耗 流的输出结构(OS)的适当组合。对于事实流而言,根据多维范式,流的组合可以有多种解释:
- 组合流的输入结构表示将流A的输出结构中的属性注入到流B的输出结构的某些维度中。
- 组合流的输入结构表示具有互补维度和度量的两个事实流的输出结构的连接。
- 组合流的输入结构表示具有相同多维结构(即等效数据模式)的互补事实的并集。

该系统将仅接受根据先前解释具有数据流一致组合的工作流(见图4)。

3.3.时间一致性

在设计工作流时,必须检查组合数据流中的时间一致性。时间一致性与流的速度相关。例如,向 另一个事实流注入维度成员/属性的流必须比后者更慢,否则其聚合能力会降低。在事实流上执行连接 和联合操作也会影响时间一致性:连接流的速度不能快于输入流的速度。此外,为了合理起见,时间 窗口必须始终大于或等于时间滑块。最后,由于工作流旨在获取汇总事实,因此应在逐渐更粗的粒度 上执行聚合。

值得一提的是,所有这些限制的形式化表示超出了本文的范围。对所提出的车型建立可操作表示 的自然方法是使用OWL语言[43],,因为流中的大多数数据都表示为RDF图。

4.一个示例用例

在本节中,我们提出一个真实场景用例,以展示上述架构如何帮助我们表达复杂流式分析问题的 工作流。我们希望建模的问题是:通过考虑当前的汽车品牌和车型,从汽车行业相关参与者撰写的推 文中获取有价值的洞察。所选的应用场景与业务依赖于汽车工业的企业有关。具体而言,像租车公司 这类企业需要持续监控用户偏好和诉求,以便及时更新其提供的车队。通过所提出的解决方案,业务 分析师可以定义用户画像和特定指标,并在流式基础设施中快速部署和监控,从而显著减少在提取和 处理社交数据上花费的时间,直接使用设计的工作流所产生的事实。图5展示了针对该问题所提出的 工作流,下文将对其进行描述。

信息学2018,5,33 17中的11

持续监控用户偏好和诉求,以更新他们应更换的车队 提供。通过所提出的解决方案,业务分析师可以提出用户画像和特定指标, 可以在流式基础设施中快速部署和监控。因此,分析师可以 大幅减少提取和整理社交数据的时间,直接使用事实
由…产生设计的工作流。图5展示了该问题的建议工作流 m,其中 依次进行描述。

示意图9

首先,我们定义一个用于识别新汽车品牌和车型的流,该流通过其SPARQL端点使用LiveDBPedia。
该查询以一个月前的日期(参数$one_month_ago$)作为参考进行参数化,该参数在向端点获取查询时 设置:

select?car,?date,?brand where{ ?car dbo:manufacturer?brand.  
?car dbo:productionStartYear?date.  
FILTER(?date>$one_month_ago$ˆˆxsd:dateTime) }

该流同时提供给ETLink过程和Twitter查询跟踪,前者用于对推文数据进行语义增强,后者包含 需要在推特上关注的汽车品牌和车型名称。每当DBPedia中出现新的汽车型号时,ETLink和 Twitter查询都会相应地更新。在此示例中,ETLink主要由一个字典组成,用于将文本片段映射到参 考本体中的实体[3]。一个有趣的度量指标可以衡量DBPedia更新与推文中提及汽车型号之间的时间延 迟。

一旦应用ETLink过程生成事实,就会对这些事实进行处理,以增量方式获得所需的分析数据。
第一个事实流包含一个预处理过程,用于自动为每个事实分配成为垃圾信息的概率。该过程主要由一 个使用近期历史数据预先训练的分类器组成。它会为每个事实添加一个新的度量,以反映其作为垃圾 信息的概率。随后,MDX1查询选择垃圾信息概率较低的事实。这些筛选后的事实被输入到两个具有 不同处理速度的流中。在图5中,我们展示了每个流输出端的流处理速度。在此示例中,时间窗口与 时间滑块一致。

用户事实流在月粒度上汇总一组关于用户的指标(例如,关注者、在领域内发布的推文、总发布 推文数等),以获得用户的排名。此过程体现在排序器后处理中,根据用户聚合的指标计算其相关性。

最后,另一个事实流将输入的帖子事实与用户事实流连接,以选择相关用户的非垃圾信息事实(该连 接将在MDX3查询中表示)。这是对帖子事实某一维度进行属性注入的示例。

生成的流工作流会在天级别生成汇总数据,这些数据存储在架构的服务层中,供适当的分析工具 进行消费和可视化。

图6展示了应用ETLink后Twitter数据流的输出模式。我们可以看到由两种事实类型组成的星系模式, 它们可通过用户维度进行连接。多维查询MDX1输出了如图7所示的模式,其中用户事实的维度变为属性
信息学2018, 5, 33 17中的12

用户维度的帖子事实。这些事实在用户事实流中再次转换,其中多维查询MDX2将事实按如下方式构 造:在时间窗口内与每个用户相关联的发布事实数量被汇总为用户事实的一个度量(在_领域上)。
图7还通过虚线显示了前后处理生成的派生度量和属性。最终输出的多维模式(推送至服务层)如图 8所示。

示意图10

示意图11

示意图12

5.原型实现

我们使用Python实现了一个小型原型,以展示采用此方法进行的一些分析。利用现有的推特库, 源流的实现相当直接。我们还采用了SLOD‐BI的库来实现ETLink过程,以生成如图5所示的推文事 实。值得一提的是,ETLink过程非常高效,因为它们依赖于自动语义标注方法,这些方法可将文本 片段和 数据到本体实体。此外,ETLink过程可以轻松地并行化,以便它们能够 适应流入帖子流的速度。

在当前原型中,每个流都实现为一个网络服务,其数据由 消费者流。这些网络服务为每个消费者流维护一个游标。在所有数据之后

图7.应用MDX1和MDX2后的输出模式。

信息学2018, 5, x 12of16

示意图13

5.

Python 非常简单 SLOD‐BI ETLink 5 ETLink效率非常高,因为它们依赖于自动语义标注方法,这些方法可将文 本片段和 ETLink
条

示意图14

5.原型实现

我们使用Python实现了一个小型原型,以展示采用此方法进行的一些分析。利用现有的推特库, 源流的实现非常直接。我们还采用了SLOD‐BI的库来实现ETLink过程,以生成如图5所示的推文事实。
值得一提的是,ETLink过程是
信息学2018, 5, 33 17中的1 3

非常高效,因为它们依赖于自动语义标注方法,可将文本片段和数据映射到本体实体。此外, ETLink过程可以轻松并行化,从而能够适应流入帖子流的速度。

在当前原型中,每个流都实现为一个网络服务,其数据由消费者流拉取。这些网络服务为每个消 费者流维护一个游标。当前时间窗口中的所有数据被提供给消费者流后,游标将关闭;一旦新时间窗 口的数据计算完成,游标将重新打开以进行进一步处理。这些流服务处理JSON数据,事实流以 JSON‐LD格式提供和消费数据[44]。通过这种方式,在未来的实现中,可以使用NoSQL数据库来支 持大型流缓冲区。我们还计划在一个完全可扩展的大数据框架(如Kafka和Spark)内自动执行这些 工作流。

关于垃圾信息分类器,它使用Anaconda框架(Pandas和ScikitLearn包)进行训练和测试[45],, 该框架同样基于Python实现,因此分类器可以轻松集成到流服务中。根据提出的架构,我们维护一 个为期一年的长期阶段存储,从中获取用于训练垃圾信息分类器所需的样本,采用线性SVM进行训练。
在应用垃圾信息分类器后,事实的数量减少了约40%。

图5中所示的排序器过程已通过一个简单公式实现,该公式在用户事实聚合后应用。该度量对应 于按领域和每个用户的推文总数进行排序。_领域的用户事实以及每个用户的推文总数。

我们使用在2015年期间跟踪的关于汽车型号的历史推文序列模拟了流式工作流。图9展示了该年 度用户事实流生成的结果(仅考虑前15名)。可以看出,用户排名在每个月都不同,因此有必要维护 一个相关用户的稳定列表,以便利用帖子事实进行有意义的分析。如果无法获得稳定的用户列表,则 “用户”不是有效的分析维度。

信息学2018,5,x16中的13

我们使用一系列在2015年期间跟踪的关于汽车型号的历史推文模拟了流式工作流程。图9显示了 当年用户事实流生成的结果(仅考虑前15名)。可以看出,用户排名在每个月都不同,因此有必要维 护一个相对稳定的相关用户列表,以便利用帖子事实进行有意义的分析。如果无法获得稳定的用户列 表,则“用户”不是有效的分析维度。

示意图15

图10显示了初始ETLink过程在周级别上聚合生成的每个品牌的领域内推文数量。从图中可以清楚地 识别出两个主要品牌主导了该领域内的已发布推文(即丰田,日本爱知县,和福特,密歇根州迪尔伯恩)。
, 美国)。必须指出的是,原始的帖子事实与汽车型号的名称相关联,这些型号按品牌分组以进行可视化。

示意图16

图11显示了在选择图9中所示的前15个相关用户后的最终输出,以及
在移除垃圾发布事实后。从该图可以看出,主要的相关用户关注的品牌与图10中的流入事实流中的品牌不同。例如,丰田品牌投入了大量资源
信息学2018,5,33 14of17

图10显示了初始ETLink为每个品牌生成的领域内推文数量 在周级别进行聚合处理。在图中我们可以清楚地识别出两个主要品牌 在该领域(即丰田、日本爱知县和福特、美国密歇根州迪尔伯恩)。需要说 明的是,原始帖子事实与汽车型号的名称相关联,为了可视化目的,这些型号按品牌进行了分组。

示意图17

图11显示了在选择图9中所示的前15个相关用户并删除垃圾发布事实后的最终输出。从该图可以看出,主要相关用户关注的品牌 与图10中的流入事实流中的品牌有所不同。例如,丰田品牌在上半年受到极大关注,而其他品牌则在下半年与其展开竞争。
信息学2018,5,16页中的第14页,在上半年受到关注,而其他品牌在下半年与之竞争。

示意图18

6.结论

在此本文中,我们分析了一套与社会商业相关的方法 智能(SBI)。我们得出结论:流式处理是处理社交数据的自然方式,它为分析任务带来了新的挑战。
主要挑战在于分析中涉及的所有元素的动态性,从数据源到分析指标都具有动态变化的特点。另一个 挑战是在大多数与社会商业智能相关的分析任务中需要进行智能处理,例如情感分析、垃圾信息检测 等。事实上,我们无法设想一个不包含多维分析和预测分析这两类分析的社会商业智能任务。我们提 出了一种新架构,旨在满足所有这些需求,并在同一工作区域内集成数据科学和数据分析任务。我们 采用类似Kappa的
流式架构以满足两类参与者的需要。该架构依赖于 关联数据和多维建模。前者便于语义数据增强 而后者则为了分析目的对它们进行塑造。采用语义也有助于 验证和已开发工作流的跟进。

未来工作有两个主要方向。一是实现架构的完整实施 在Python中及其与Kafka等高度可扩展流式框架的集成。另一个 方向是获得一个基于描述的流工作流的完整理论模型

示意图19

6.结论

在本研究中,我们分析了一整套与社会商业智能(SBI)相关的方法。我们得出结论:流式处理 是处理社交数据的自然方式,这为分析任务带来了新的挑战。主要挑战在于分析所涉及的所有元素的 动态性,从数据源到分析指标均如此。另一个挑战是在大多数与SBI相关的分析任务中需要进行智能 处理,例如情感分析、垃圾信息检测等。事实上,我们无法设想一个不包含多维分析和预测分析这两 类分析的社会商业智能(SBI)任务。

信息学2018, 5, 33 15of17

我们提出了一种新架构,旨在满足所有这些需求,并在同一工作区域内集成数据科学和数据分析 任务。我们采用类Kappa流式架构来满足这两类参与者的需求。该架构基于关联数据和多维建模,前 者便于语义数据增强,后者则使其适用于分析目的。语义的引入也有助于所开发工作流的验证与跟踪。

未来工作有两个主要方向。一是使用Python实现该架构的完整开发,并将其集成到Kafka等高 度可扩展流式框架中。另一个方向是基于描述逻辑建立流工作流的完整理论模型。该模型的目标是保 持工作流最新且一致的逻辑表示,可用于验证流重用和组合,以及工作流的自动执行。

作者贡献:概念化,R.B.、I.L.‐C.和M.J.A.;方法论,R.B.、I.L.‐C.和M.J.A.;软件,R.B.;验证,R.B.和 I.L.‐C.;形式化分析,R.B.、I.L.‐C.和M.J.A.;调查,R.B.、I.L.‐C.和M.J.A.;资源,R.B.和I.L.‐C.;数据管 理,R.B.和I.L.‐C.;撰写‐初稿准备,I.L.‐C.撰写引言和第2节,R.B.撰写第3–5节及结论;撰写‐审阅与编辑, R.B.、I.L.‐C.和M.J.A.;可视化,R.B.和I.L.‐C.;监督,R.B.;项目管理,R.B.;资金获取,项目 TIN2017‐88805‐R的成员为R.B.、I.L.‐C.和M.J.A.,I.L.‐C.是获得“PREDOC/2017/28”资助的预博士生。

资助:本研究由西班牙工业和商业部资助,项目编号为TIN2017‐88805‐R,并由瓦伦西亚海梅一世大学的 PREDOC/2017/28号博士前奖学金资助。

利益冲突:作者声明不存在利益冲突。

相关推荐

【2021末九软工边缘人保研】川大-中科院网络中心-华师夏令营+哈工大本-中科院网络中心-西交-厦大-中山-武大-北航预推免

2021末九软工边缘人保研记录一、写在前面二、个人背景 一、写在前面 2020年计算机保研可谓是诸神黄昏,卷的头破血流(指我等菜鸡)。疫情的原因,今年的夏令营和预推免基本全部改为线上,机试取消,能不能拿到offer基本完全取决于背景以及面试表现(当然也有个别头铁非要机试,甚至笔试的学校)。大佬们offer收割不停,我等边缘人只能看着一封封拒信发呆。 这种情况下,只有985 Rank5%以及211 Rank2%之前的大佬能够较为轻松地拿到面试入场券。贴一个上交电院夏令营要求你们感受一下: 预推免相比起夏令营

weixin_43222706的博客 4236

软考-系统分析师-备考笔记

根据学习视频和一些资料整理的软考系统分析师考试笔记,2025年下半年通关

提子同学是我 1030

华为擎云W515 PGUV-WBY0安装银河麒麟V10全流程解析

本文详细解析了华为擎云W515 PGUV-WBY0安装银河麒麟V10系统的全流程,包括准备工作、镜像下载与校验、启动盘制作、BIOS设置、安装过程关键选择、系统初始化及常见问题排查。特别针对ARM架构设备提供了实用技巧,帮助用户顺利完成国产化系统的部署与优化。

weixin_28725949的博客 706

如何有效地进行数据挖掘和分析,数据治理平台哪家好?_光点科技

数据挖掘与分析我们可以说是一个重要信息安全管理研究领域不断创新发展最快的技术,很多中小企业通过不同领域的专家都从中获得了经济社会发展的空间,使得数据挖掘成为企业界讨论的热门话题。...

gdkj20110411的博客 1024

对称加密和非对称加密、公钥和私钥、单向认证和双向认证、数字签名、数字证书、根证书

文章目录1. 什么是公钥和私钥?2. 加密算法2.1 对称加密2.2 非对称加密2.2.1 非对称加密的重要性质2.2.2 非对称加密算法应用2.2.2.1 应用1 加密通信2.2.2.1.1 单向认证和双向认证2.2.2.1 应用2 数字签名3. 数字签名3.1 数字签名用法演示3.2 数字签名存在问题4. 数字证书(Digital Certificate)4.1 创建数字证书4.1.1 举例,CA如何给我们签发一个有效证书: 1. 什么是公钥和私钥? 摘自《什么是公钥和私钥?》 公钥(Public Ke

m0_45406092的博客 1万+

钢铁雄心4存档修改全攻略:从基础设置到高级玩法(附国家代码表)

本文详细解析《钢铁雄心4》存档修改技巧,从基础设置到高级玩法全覆盖。包括存档文件位置、格式转换、国家实力调整、国际关系修改等实用内容,并附赠国家代码表。掌握存档修改技能,解锁游戏全部潜力,实现精细参数控制,超越控制台指令的局限。

weixin_29233857的博客 1440

读数据架构知识体系指南07大数据

读数据架构知识体系指南07大数据

lyingSeven的博客 226

27、视网膜血管识别与分类的数据集和验证过程

本文介绍了视网膜血管自动识别与分类方法所使用的数据集及其验证过程。通过30张高分辨率的近红外反射视网膜图像,结合专业医生的手动标注结果,构建了包含597个血管段的基准数据集。研究采用准确率、召回率、F1分数和混淆矩阵等评估指标对模型进行验证,并提出了特征增强和分类器优化策略以提升性能。实验结果显示,该方法在复杂区域具有较强的鲁棒性和较高的准确性,为临床应用提供了可靠的依据。

i7j8k9l的博客 148

亚马逊云科技构建Serverless数据分析战略

开发者不再需要关注底层服务器和基础设施的管理,而是能够专注于构建出色的应用程序和功能,以实现更高效的业务流程和更好的用户体验。这意味着可以在几分钟内启动服务,并开始分析数据。亚马逊云科技Amazon EMR是行业领先的大数据分析服务,适用于使用开源框架进行PB级数据处理、交互分析和机器学习,它可以更快地运行大数据应用并且成本不到本地解决方案成本的一半。Amazon EMR Serverless是一种快速、可扩展、弹性的分析服务,为企业提供了一种有效的方式来处理大规模数据,并且不需要预先配置或管理服务器。

m0_71839360的博客 417

[VCS]VCS dump fsdb的精细化控制

本文介绍了VCS FSDB波形dump的精细化控制方法。主要内容包括:1)基本dump方式;2)通过$fsdbDumpoff排除特定层次;3)使用$fsdbDumpvars选择性dump指定模块;4)运行时动态控制dump开关;5)通过文件管理排除列表($fsdbDumpoffFile或自定义读取);6)层次控制策略(剪除整棵树或仅当前层)。这些方法可有效控制波形文件大小,提高仿真效率。

元直的博客 1036

广州吉欧电子科技有限公司安卓开发工程师岗位 - 技术核心、职责详解与面试指南

广州吉欧电子科技有限公司招聘安卓开发工程师,该岗位可接收优秀应届生。岗位职责包括:1)负责安卓应用架构设计与开发,确保稳定性和可扩展性;2)功能模块编码实现与测试;3)性能优化与用户体验提升;4)后端接口对接;5)系统版本适配;6)用户反馈处理迭代;7)特殊要求熟悉RTK高精度定位技术原理及使用。该岗位要求扎实的安卓开发技术、良好的架构设计能力、性能优化经验,以及特定领域的RTK专业知识,是一个技术全面且具有专业特色的开发岗位。

郑伟强dev的专栏 157

思迈特软件Smartbi:公安大数据的3个发展阶段

数据架构升级 随着数据采集量的增大,而且数据类型多种多样,有结构化数据(比如人口档案数据、宾馆住宿记录等),也有半结构化和非结构化数据(比如监控视频、卡口照片等),这对当前公安信息化系统提出了极大挑战。 传统关系型数据库和大容量存储的技术方案即将或已经出现瓶颈。对这些海量数据合理地进行存储和利用必须要进行架构升级,建立专门的数据中心是一种势不可挡的趋势,云计算和大数据会在这些数据中心落地。云计算技术通过对物理资源(CPU、存储、网络等)虚拟化,通过资源池的方式,实现应用的弹性扩展和无缝迁移,对资源进行充分利

思迈特Smartbi 272

PCB_Project.PrjPcb 4 Not in version control

Altium Designer中PCB项目出现"NOT in version control"错误的解决方法:1. 禁用不需要的版本控制集成(DXP→Preferences→Version Control);2. 清理项目缓存(Projects面板右键→Clean Project);3. 检查文件读写权限;4. 如无效可新建项目重新添加文件。如需使用SVN版本控制,需正确配置SVN客户端路径,创建或连接SVN仓库,并将项目文件提交至版本控制系统。注意新建SVN仓库必须使用空目录,建议使用

whm128的博客 1601

全栈必备 面向数据的架构

数据是系统的核心,在面向服务的架构之外,可以考虑面向数据的架构方式。面向数据的服务架构需要支持多数据源异构,支持动态数据和静态数据,既支持公有云部署又支持私有云部署,提供多种数据应用和数据产品,如下图所示: 一般地,为了不影响业务系统的正常运行,会将不同数据源汇集起来,技术的采集与摄取,然后进行数据的存储及一系列的操作处理, 最终通过各种的解决方案形成...

weixin_34218579的博客 110

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

搜狐、美团、小米都在用的Apache Doris有什么好? | BDTC 2019

【导读】12 月 5-7 日,由中国计算机学会主办,CCF 大数据专家委员会承办,优快云、中科天玑协办的中国大数据技术大会(BDTC 2019)在北京长城饭店隆重举行。100+ 顶尖技...

AI科技大本营 2375

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

【系统架构设计师】综合知识篇

本文是软考系统架构设计师备考笔记,系统梳理了考试核心知识点,重点涵盖中间件技术、缓存问题和解决方案。主要内容包括: 中间件概述:定义位于OS与应用间的软件层,分类包括数据库访问、RPC、消息队列等,分析7大技术优点。 消息中间件:对比RabbitMQ/Kafka/RocketMQ特性,详解点对点和发布订阅模型,列举异步解耦、流量削峰等典型场景。 Redis缓存:介绍单线程模型、5种数据结构,重点分析RDB/AOF持久化机制和集群高可用方案。 缓存三大问题:通过流程图解析雪崩(随机过期时间/熔断降级)、穿透(

你的博客 886

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

如何更深刻的理解 “Gartner2020年数据与分析技术十大趋势”的内涵?

以下文章来源于与数据同行,作者傅一平 Gartner 2020年发布了“”数据与分析领域的十大技术趋势”,2020年过去了,这些趋势判断到底靠谱吗? 笔者没有足够的数据,没法做出权威的判断,但考虑到身处数字化水平比较高的通信行业,接触的数据技术还是比较多的,如果这些趋势靠谱,那或多或少会对我的工作产生影响,这里就来谈谈我对这些趋势的具体看法。 趋势1:更智能、更高速、更负责的AI 到2024年底,75%的企业机构将从人工智能(AI)试点转为AI运营,基于流数据的分析基础架构的数量将因此增加...

hanxiaolaa的博客 502

大数据发展历程

一:大数据概念 大数据是由数量巨大、结构复杂、类型众多的数据结构的数据集合,在合理时间内,通过对该该数据集合的管理、处理、并整理成为能帮助政府机构和企业进行管理、决策的讯息。 二:大数据特点 大数据通常具有以下几种特点: 1、大量:即数据体量庞大,包括采集、存储和计算的量都非常大。 2、高速:要求处理速度快,从各类型的数据中快速获得高价值的信息 3、多样:数据种类繁多 4、价值:价值...

徐雄辉笔记 9308

亚马逊云科技持续创新、领势而行,re:Invent颠覆想象

当一行行代码成为托起数字社会的基础架构,社会发展开始面临真正意义上的变革与重塑。作为云计算领域的探路者与引领者,亚马逊云科技持续创新、领势而行,正不断塑造并颠覆着大众关于云计算未来的想象。 2006年 开端 2006年,亚马逊推出了Amazon Web Services,从此开创出了云计算市场。同年8月,Amazon Elastic Compute Cloud (EC2)开放了beta测试,启动了云上计算的创新和革命。回顾EC2发布时提供的功能,只有一种实例类型,一个区域。如今16年过去,Amaz

m0_71839360的博客 378

自由职业数据科学:从细分定位到规模化的实战路线

系统介绍数据管道的定义、价值与三大组件,并给出端到端六步法,从摄取、转换到交付与编排,助力高效、可扩展的数据驱动决策。

Xianxiancq的博客 1170

方法论系列:数据科学框架入门

对于这个项目,问题陈述已经给出,我们需要开发一个算法来预测泰坦尼克号上乘客的生存结果。泰坦尼克号的沉没是历史上最臭名昭著的船难之一。1912年4月15日,在她的首航中,泰坦尼克号与冰山相撞后沉没,导致2224名乘客和船员中的1502人死亡。这场轰动的悲剧震惊了国际社会,并促使出台更好的船舶安全规定。造成如此多人员伤亡的原因之一是乘客和船员的救生艇不够。尽管在沉船中幸存涉及一定的运气成分,但某些人群比其他人更有可能幸存,比如妇女、儿童和上层阶级。在这个挑战中,我们要求您完成对可能幸存的人群的分析。

数智笔记 1519

多元数据时代,如何破解数据流转难题?

在数字化转型的推动下,随着数据量的不断增多,数据的整体通用性和管理成本大大增加。针对传统数据仓库管理存在的问题,HashData采用湖仓一体架构,能够实现数据仓库和数据湖的数据无缝打通和自由流动,减少重复建设,最大化降低数据流转和迁移成本。

m0_54979897的博客 413

Mordecai未来展望:v3版本升级路线图与社区贡献指南

Mordecai作为一款功能强大的Python地理解析库,正在迎来全新的v3版本升级!🚀 这个开源的地理位置解析工具让开发者能够轻松地从英文文本中提取地名信息,并将其解析为精确的地理坐标和结构化地理数据。随着人工智能和自然语言处理技术的快速发展,Mordecai v3版本将带来更加智能、高效的地理解析体验,为开发者和研究人员提供更强大的地理信息处理能力。 ## 🌟 Mordecai v3版本

gitblog_00877的博客 1118

为什么大家都说亚马逊云科技 re:Invent 是行业的风向标

点击上方【凌云驭势 重塑未来】一起共赴年度科技盛宴!当一行行代码成为托起数字社会的基础架构社会发展开始面临真正意义上的变革与重塑作为云计算领域的探路者与引领者亚马逊云科技持续创新、领势而行正不断塑造并颠覆着大众关于云计算未来的想象请查收这张由亚马逊云科技 re:Invent 10年 发布服务的简图和我们一起踏上云上学习之旅2006关键词:开端2006年,亚马逊推出了 Amazon Web Serv...

亚马逊云科技专栏 348

大数据平台演进之路 | 淘宝 & 滴滴 & 美团

声明:本文参考了淘宝/滴滴/美团发表的关于大数据平台建设的文章基础上予以整理。参考链接和作者在文末给出。 在此对三家公司的技术人员无私奉献精神表示感谢,如果文章造成了侵权行为,请联系本人删除。本人在尊重事实的基础上重新组织了语言和内容,旨在给读者揭开一个完善的大数据平台的组成和发展过程。 本文在未经本人允许情况下不得转载,否则追究版权责任。 By 大数据技术与架构 场景描述:希望本文对那...

weixin_30726161的博客 439
上一篇: 22、3D 形状分析与处理技术全解析
下一篇: 23、3D形状分析中基于特征的方法:原理与应用
zero1
博客等级 码龄24年 950粉丝 1198原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值