Cnki数据集包装清洗

数据集清洗与分类
最新推荐文章于 2023-07-26 16:27:54 发布
原创 最新推荐文章于 2023-07-26 16:27:54 发布 · 797 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文讨论了数据集的清洗及分类方法，特别是针对不平衡的数据集进行了详细的探讨，并分享了清洗过程中的一些有趣发现。

包装

  • 决定先处理好数据集训练形式等问题再清洗
  • 拿B/C/D/E/F/G/H举例，B包含10*1000篇，C包含7*1000篇，D包含10*1000篇，E：5*100，F：9*1000，G：6*1000，H：7*1000各类训练比例不均匀

清洗

  • 标题，关键词，摘要融合——-data
  • 大类分类号————————label
  • 找出stop words sets，去除
  • 剔除数字字母和标点
  • 清洗过程中发现了些很奇妙的东西@。@，比如原本4.2M的标题关键字摘要，被stopwords清洗之后只剩下2.7M。自古论文离不开八股啊！

两层分类

  • 先分出第一层
  • 实验再分第二层
  • 两层甚至可以互相反馈

整理数据

  • 已经整理好七类数据，这是大类分类使用的数据集，因为还有几类的文本尚未处理好，这是七类数据下载链接

异常

期刊数据集有点怪异，那就是论文的label不止一个，有的一篇论文有两个标签甚至三个。唉！无从下手！

以Web of Science 为例，使用Citespace进行文献计量分析的一般步骤
weixin_46915208的博客
04-10 6万+
介绍了用Web of Science 检索文献的方法，并使用Cite Space对获取的数据进行分析的一般步骤。
CiteSpace关键词共现图谱含义详细解析与注意事项
qq_39974284的博客
08-21 1万+
CiteSpace关键词共现图谱含义详细解析与注意事项
数据清洗方法
测试0901-1
03-01 474
1.数据错误脏数据或错误数据比如, 温度 = -2003，数据不正确‘0’ 代表真实的0还是代表缺失，数据不一致2.删除重复值删除重复数据或对重复数据进行标记3.离散值检测单变量离群值处理：1）绘图：在图中找出离群的异常值，根据情况对其进行删除或者对数据进行变换从而在数值上使其不离群或者不明显。2）学生化(标准化)：用变量除以他们的标准差就可得到学生化数值多变量离群值1）绘图：在图中找出明显的...
Pandas 数据处理，数据清洗
墨竹
02-23 4423
# -*-coding:utf-8-*-from pandas import DataFrame import pandas as pd import numpy as np""" 获取行列数据 """ df = DataFrame(np.random.rand(4, 5), columns=['A', 'B', 'C', 'D', 'E']) print df printdf['col_s
Meta分析的选题与文献计量分析CiteSpace应用丨R语言Meta分析【数据清洗、精美作图、回归分析、诊断分析、不确定性及贝叶斯应用】
weixin_46747075的博客
07-26 1438
Meta分析是针对某一科研问题，根据明确的搜索策略、选择筛选文献标准、采用严格的评价方法，对来源不同的研究成果进行收集、合并及定量统计分析的方法，最早出现于“循证医学”，现已广泛应用于农林生态，资源环境等方面。
基于Scopus和中国知网的地理场景表达频次统计数据集（2020-2023）
最新发布
05-02
作者通过在Scopus、CNKI数据库，查阅“地理场景（Geographic Scenario）”论文，并进行论文数量、作者、单位等统计，得到地理场景表达频次统计数据集。数据集内容包括2000-2023年的以下数据：（1）Scopus英文论文...
数学建模数据集网站常用数据库介绍
04-14
对于中国的数学建模爱好者来说，中国知网(CNKI)也是一个重要的数据集来源。虽然中国知网主要是面向学术文献的搜索和下载，但其中包含了大量有用的数据集，尤其是社会科学领域的数据。除此之外，部分高校和研究机构也...
中国知网论文数据集，24000+篇论文信息。自然语言处理、信息管理、文本分类、
10-01
中国知网论文数据集不仅对自然语言处理和信息管理等学术研究有着重要的推动作用，同时也为相关技术的进一步发展和应用提供了丰富的数据支持。通过对这些论文数据的深入挖掘和分析，可以在理论和实践上取得更多的创新...
CNKI.rar_CNKI
09-22
CNKI，全称为“中国知网”，是中国最大的学术文献数据库之一，涵盖了众多学科领域的期刊文章、学位论文、会议论文、报纸、专利等丰富的资源。这个名为"CNKI.rar_CNKI"的压缩包文件包含了帮助用户提升在CNKI上进行...
Python数据挖掘-CNKI知网
04-05
Python数据挖掘-CNKI知网。图书情报学领域的研究者。在写作文献计量学的文章时需要进行数据分析以及文献可视化分析1. 快速获取cite space与 VOS viewer等文献可视化软件所需的refworks数据 2. 快速自动获取大量原文...
基于Citespace和vosviewer的文献信息可视化分析技术
zmjia111的博客
08-26 484
Citespace和vosviewer是使用最广泛的文献信息可视化软件工具，在理工、经管、法学、教育、农学、文史、医学、艺术等学科中普遍应用，发文量逐年显著上升。本次将采用理论与实践相结合，通过文献计量学介绍、高效选题、数据库检索数据下载、软件使用等八个专题模详细讲解，系统全面的掌握文献计量学的基本理论和知识；最终实现从主题确定、数据分析绘图、文章框架与写作，全流程掌握一篇文献信息可视化分析报告（论文）的思路逻辑与技术方法。4.共被引网络图绘制与解读。3.数据清洗、合并与提取。4.共现网络图绘制与解读。..
Dataset之mushroom：mushroom蘑菇数据集的简介、下载、使用方法之详细攻略
热门推荐
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
05-23 2万+
mushroom蘑菇数据集属于UCI机器学习库的Mushroom数据集，也是XGBoost安装包中的demo数据集。总样本数为8124，其中6513个样本做训练，1611个样本做测试。并且，其中可食用有4208样本，占51.8%；有毒的样本为3916，占48.2%。关于特征，Demo中22维特征经过处理，变成了126维特征量。每个样本描述了蘑菇的22个属性，比如形状、气味等等（将22维原始特征用加工后变成了126维特征， 并存为libsvm格式)，然后给出了这个蘑菇是否可食用。
机器学习之逻辑回归mushroom数据集
liuxiongfeng22的博客
11-21 5179
import numpy as np import pandas as pd import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D from sklearn.preprocessing import LabelEncoder from sklearn.neighbors import KNeighborsC...
Wos/Pubmed/Scopus数据库一键去重+清洗数据 CiteSpace Vosviewer
qq_39974284的博客
03-03 1万+
不知大家是否遇到过这种情况，在做英文文献计量与知识图谱时发现检索出的文献 一方面： 很多文献竟然不相关； 另一方面文献有重复 ；当然这可能是数据库自身的检索问题。 数据不相关 ，那就需要筛选。 如何筛选呢？ 在数据库里直接删选，非常不方便。 数据有重复就要去重，怎么去重呢？ 尽管一些图谱软自带去重功能，但是我们无法白盒操作，不清楚文献是否相关，而导入 诸如Endnote /NoteExpress等...
CiteSpace学习笔记（三）——数据预处理
weixin_37938228的博客
02-28 2万+
由于不同数据库厂商所提供下载的数据格式有所差异，为了能够使用CiteSpace对不同数据库的数据进行分析，CiteSpace专门提供了数据的转换界面，用于将CNKI、CSSCI、以及SCOPUS等数据转换为WoS数据格式，供CiteSpace进行分析。 进入CiteSpace数据预处理功能模块的步骤为：运行CiteSpace后，选择功能参数区菜单栏的Data—>Import/Export,即...
“万方论文”爬取、数据清洗、以及利用word2vec训练model
dreamtheworld1的博客
06-09 3489
Chapter1   关于“万方论文”的论文爬取与数据清洗tips1：爬取数据【背景】此爬虫是爬取万方自己设定的主题相关文献的“title”、“abstract”、“link”、”author“、”date“、”keywords“、”link“等信息【准备内容】爬虫原链接为  https://github.com/EachenKuang/wanfangSpider 项目上修改版。修改内容如下：将所...
全网独家【超越CiteSpace】突破CiteSpace只能做数据库里数据的限制
qq_39974284的博客
02-21 2870
全网独家【超越CiteSpace】突破CiteSpace只能做数据库里数据的限制 如何让CiteSpace也可以做非数据库中的数据呢？ 众所周知，CiteSpace只能做数据库里的文献或专利计量与知识图谱，如中国知网，wos数据库等，对于非数据库中的数据，Citespace便无能为力了。 但是，由于CiteSpace具备的主题聚类、主题演化路径、时间线与研究前沿探测等图谱展示非常美观，并且其他软件...
CNKI数据清洗
03-26
### CNKI 数据清洗的方法与工具 数据清洗是数据分析的重要环节之一，尤其对于来自复杂来源的数据（如CNKI数据库），其质量可能参差不齐。以下是关于如何对CNKI数据进行清洗的具体方法和常用工具： #### 1. 去除...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值