MAVE:多源属性值提取的产品数据集

MAVE:多源属性值提取的产品数据集

MAVE The dataset contains 3 million attribute-value annotations across 1257 unique categories on 2.2 million cleaned Amazon product profiles. It is a large, multi-sourced, diverse dataset for product attribute extraction study. MAVE 项目地址: https://gitcode.com/gh_mirrors/ma/MAVE

项目介绍

MAVE 是一个面向多源属性值提取研究的大型产品数据集。该数据集包含来自 2.2 百万份清洗后的亚马逊产品档案的 1257 个独特类别的 300 万个属性值注释。MAVE 为产品属性提取领域提供了一个丰富、多源、多样化的研究资源。

项目技术分析

MAVE 数据集的核心是一个 JSON Lines 格式的文件,其中每行是一个包含产品信息和多个属性的 JSON 对象。每个 JSON 对象都包括产品 ID、类别、文本段落数据以及属性信息。产品 ID 实际上是 All_Amazon_Meta.json 文件中的 ASIN 编号,该文件属于亚马逊评论数据集(2018)。

数据集中的每个 JSON 对象都包含以下结构:

{
  "id": <product id>,
  "category": <category name>,
  "paragraphs": [
    {
      "text": <paragraph text>,
      "source": <paragraph source>
    },
    ...
  ],
  "attributes": [
    {
      "key": <attribute name>,
      "evidences": [
        {
          "value": <attribute value>,
          "pid": <the paragraph id where the attribute value come from>,
          "begin": <the begin character level index of the attribute value in the paragraph>,
          "end": <the end character level index (exclusive) of the attribute value in the paragraph>
        },
        ...
      ]
    },
    ...
  ]
}

在这个结构中,attributes 字段包含了产品属性,每个属性都有关联的 evidences,这提供了属性值的证据,包括其在段落中的位置信息。

项目技术应用场景

MAVE 数据集的应用场景主要集中在产品属性提取领域,特别是在自然语言处理(NLP)和机器学习领域。以下是一些具体的应用场景:

  1. 属性值提取: 从产品描述中自动识别和提取属性值,如颜色、尺寸、材料等。
  2. 数据增强: 利用 MAVE 数据集对现有数据集进行增强,提高模型的泛化能力。
  3. 模型训练: 作为训练数据,用于训练和评估多源属性值提取模型。
  4. 特征工程: 在构建推荐系统或产品搜索引擎时,使用提取的属性作为特征。

项目特点

MAVE 数据集具有以下显著特点:

  1. 规模庞大: 包含超过 300 万个属性值注释,覆盖 1257 个独特类别。
  2. 多源数据: 数据来源于亚马逊产品档案,经过清洗和整合,保证了数据的质量和多样性。
  3. 结构化: 数据以 JSON Lines 格式存储,方便处理和分析。
  4. 证据信息: 提供了属性值在文本中的位置信息,有助于模型的准确性和解释性。
  5. 正负样本: 除了正样本外,还提供了负样本,有助于模型学习哪些属性值是不存在的。

MAVE 数据集的发布为产品属性提取领域的研究提供了一个宝贵的资源,有助于推动相关技术的发展和应用。通过其高质量的注释和结构化数据,研究者和开发者可以更有效地进行模型训练和评估,从而提高产品信息处理的自动化和智能化水平。

在遵循 SEO 收录规则的条件下,本文详细介绍了 MAVE 数据集的核心功能、项目介绍、技术分析、应用场景和特点,旨在吸引用户关注和使用这一开源项目。通过深入了解 MAVE 数据集的优势和应用潜力,用户将能够更好地利用该数据集进行研究和开发工作。

MAVE The dataset contains 3 million attribute-value annotations across 1257 unique categories on 2.2 million cleaned Amazon product profiles. It is a large, multi-sourced, diverse dataset for product attribute extraction study. MAVE 项目地址: https://gitcode.com/gh_mirrors/ma/MAVE

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

下载链接为: https://pan.quark.cn/s/3d8e22c21839 随着 Web UI 框架(如 EasyUI、JqueryUI、Ext、DWZ 等)的不断发展与成熟,系统界面的统一化设计逐渐成为可能,同时代码生成器也能够生成符合统一规范的界面。在这种背景下,“代码生成 + 手工合并”的半智能开发模式正逐渐成为新的开发趋势。通过代码生成器,单表数据模型以及一对数据模型的增删改查功能可以被直接生成并投入使用,这能够有效节省大约 80% 的开发工作量,从而显著提升开发效率。 JEECG(J2EE Code Generation)是一款基于代码生成器的智能开发平台。它引领了一种全新的开发模式,即从在线编码(Online Coding)到代码生成器生成代码,再到手工合并(Merge)的智能开发流程。该平台能够帮助开发者解决 Java 项目中大约 90% 的重复性工作,让开发者可以将更的精力中在业务逻辑的实现上。它不仅能够快速提高开发效率,帮助公司节省大量的人力成本,同时也保持了开发的灵活性。 JEECG 的核心宗旨是:对于简单的功能,可以通过在线编码配置来实现;对于复杂的功能,则利用代码生成器生成代码后,再进行手工合并;对于复杂的流程业务,采用表单自定义的方式进行处理,而业务流程则通过工作流来实现,并且可以扩展出任务接口,供开发者编写具体的业务逻辑。通过这种方式,JEECG 实现了流程任务节点和任务接口的灵活配置,既保证了开发的高效性,又兼顾了项目的灵活性和可扩展性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

戴玫芹

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值