lys_828的博客

介绍中国知网（CNKI）文献素材库生成软件的使用过程

解决endnote对于中国知网导出文献无法正确解析期刊的问题

对中国知网检索文献的策略进行验证，在核实过后，发现两种策略下载的数据集内容一致

利用python将中国知网文献导出的文件整理为文献引用格式+摘要正文，并写入到Word中要求：一级标题为文献数据集介绍；二级标题为文献的引用格式；正文为摘要信息。并对Word进行相应的排版布局

有时在研究过程中，会遇到不同类型的文献，但是有些文献中的数据会有部分缺失，常见的比如机构，作者和年份等字段，因此为了使用科研工具进行有效的文献计量，数据清洗就显着十分重要

在进行某一领域的研究中，由于文献数量较少，因此将中文期刊、中文硕博论文和外文期刊都进行整理。但是这种必然会存在一个问题问题：**硕博论文的一个主题（章节）会对应着中文期刊或者外文期刊**因此有必要筛选同一作者硕博论文和期刊文献，对数据集进行处理

利用web of science的组配查询功能获取多次文献查询结果的差集、并集、交集

本文介绍了基于ChatGPT API 的使用实例，包括模型的选择、max_token设置、以及实现GPT根据用户输入的上下文进行理解后回答的实例

介绍使用pybibx库对个人数据进行文献分析的模板代码

基于ChatGPT-4 analysis的前提是已经为其提供了语料，这个语料就是前面进行文献科学计量产生的结果，比如图表数据，本文就是介绍截止到写这篇博客时，pybibx支持的ChatGPT-4 analysis相关的函数。

文章介绍了利用pybibx库对scopus文献数据，进行探索式分析EDA，N-Grams语言模型构建及可视化，文献聚类和映射，网络分析（社区网络分析、个人网络分析，合作组织网络分析）、NLP（词嵌入模型、BERT模型、chatGPT大语言模型下的主题建模和摘要提取）

文献计量和科学计量分析为复杂的研究领域和跨不同学科的协作动态提供了宝贵的视角。本文介绍了 pyBibX，这是一个 Python 库，旨在对来自 Scopus、Web of Science 和 PubMed 的原始数据文件进行全面的文献计量和科学计量分析，将最先进的人工智能 (AI) 功能无缝集成到其核心功能中。pyBibX可执行全面的探索性数据分析 (EDA)，通过视觉上吸引人的图形插图呈现结果。网络功能已被巧妙地集成，包括引文、协作和相似性分析。

文献计量学和科学计量学分析为复杂的研究领域和跨越不同学科的合作动态提供了宝贵的视角。本文介绍了pyBibX，这是一个python库，用于对来自Scopus , Web of Science和PubMed的原始数据文件进行全面的文献计量和科学计量分析，并将最先进的AI功能无缝集成到其核心功能中。该模块执行一个全面的EDA，通过视觉上吸引人的图形插图呈现结果。网络功能已被巧妙地集成，包括引用、协作和相似度分析。

出现URLError报错原因是因为执行代码后，系统要请求网址下载一个姓名相关的文件数据，在D:\Data Science\miniconda\Lib\site-packages\metaknowledge\genders路径下，见下图。重新运行几次后，自动连接可以进行转化，原因在于，其中的作者性别的字段，第一次加载需要访问外文网址，这个过程会受到网络的影响，可以重复运行几次。如果始终提示URLError报错，可以把该文件放置再次文件夹后再次运行。该文件如果需要，可以私信博主，此外该文件也已上传至项目仓库。

第四步，保存修改的代码文件后重新运行字典格式转化的代码。比如加载书中的wos数据集，此时可以正常读取，且检验缺失值中发现PD字段中并未有缺失，说明修改的代码可以通用。结果输出中发现程序是可以正常解析部分月份，但是当文献字段中存在年份的时候，解析失败，从而出现报错。如果后续仍然遇到PD字段报错，可以采用本文的思路，将无法识别的数据信息进行单独处理，然后再把可以处理的代码粘贴到源代码中即可。有必要核实原始文献中包含的时间信息，确定是否所有的格式都考虑到，输出文献的全部数据量为330，与成功解析的数据量相同。

在文献预览窗口没有显示摘要信息，可以选择打开。点击左上角的Edit菜单栏，选择【Output Styles】中的正在使用的样式，比如这里默认的是Numbered样式，如下然后进入到具体的设置页面，点击【Bibliography】下面的Templates选项，在中间界面中找到【Journal Article】，在下面一行鼠标点击最后面，此时再点击右上角的【Insert Field】按钮在弹出的窗口中勾选Abstract，如果需要显示其它的内容也可以根据需求勾选，如下。

1 二模网络（two node） 1.1 读取本地文献并构建二模网络数据集 1.2 网络数据集精简 1.3 网络图绘制及美化 2 多模网络（multi node） 3 多级别网络（multi level）

1 本地文献读取并构建一模网络数据集 2 网络数据集精简 3 网络数据集中节点信息大小写转化 4 获取一模网络中可使用的mode标签 5 网络数据集清洗（以武汉大学信息管理学院为例） 5.1 创建映射 5.2 求解节点中count属性数值 5.3 处理网络数据中的连线信息 5.4 处理网络数据中的节点信息 5.5 网络数据集清洗方法封装 6 大学之间的关联网络数据集构建与网络可视化

1 读取本地文献并构建耦合网络数据集 2 网络数据集精简 3 中心点附近网络子群绘制 4 求解网络图中节点中心度相关指标数值

1 读取本地文献构建共引网络数据集 2 网络数据集精简 3 社团群体划分 4 节点中心度相关指标计算

1 读取本地文献并构建引文网络数据集 2 网络数据集精简 3 剔除孤立点方法封装 4 网络图美化 5 社团群体划分并结合色谱图显示 6 网络节点中心度相关指标计算

1 网络数据集读取 2 网络最大子群数据获取与精简 3 中心点指定网络半径子群获取 4 节点中心度相关指标计算

1 数据集读取 2 网络数据集精简 3 网络最大子群获取并可视化 4 社团群体分类筛选 5 求解网络图中节点中心度相关的指标值并进行可视化

1 作者合作网络基础信息获取 2 根据连线进行精简作者合作网络数据集 3 作者合作网络子群识别及可视化 4 多作者合作网络子群可视化 5 知识网络节点中心度相关指标求解及可视化 6 作者合作群体网络可视化 7 根据节点进行精简作者合作网络数据集 8 中文中文文献作者合作网络分析

1 数据 2 RC.networkMultiLevel()中的参数解释 2.1 测试*modes参数 2.2 测试nodeCount参数 2.3 测试edgeWeight参数 2.4 测试stemmer参数 2.5 测试edgeAttribute参数 2.6 测试nodeAttribute参数 2.7 测试_networkTypeString参数

1 数据 2 RC.networkTwoMode()中的参数解释 2.1 测试tag1和tag2参数 2.2 测试directed参数 2.3 测试recordType参数 2.4 测试nodeCount参数 2.5 测试edgeWeight参数 2.6 测试stemmerTag1和stemmerTag2参数 2.7 测试edgeAttribute参数

1 数据 2 RC.networkOneMode()中的参数解释 2.1 测试mode参数 2.2 测试nodeCount参数 2.3 测试edgeWeight参数 2.4 测试stemmer参数 2.5 测试edgeAttribute参数 2.6 测试nodeAttribute参数

1 数据 2 RC.networkBibCoupling()中的参数解释 2.1 测试weighted参数 2.2 测试fullInfo参数 2.3 测试addCR参数

1 数据2 RC.networkCitation()中的参数解释2.1 测试dropAnon参数2.2 测试nodeType参数 2.3 测试nodeInfo参数2.4 测试fullInfo参数2.5 测试weighted参数2.6 测试dropNonJournals参数2.7 测试count参数2.8 测试directed参数2.9测试keyWords参数2.10 测试coreOnly参数2.11 测试addCR参数2.12 测试recordToCite参数2.13 测试 detailedCore参数

@TOC使用官网提供的基金数据导入到python环境中GC.networkCoInvestigator()中的参数解释:（1）测试targetTagsL参数（2）测试tagSeperator参数需要按照数据中的分割符来进行指定，如果是逗号，很多研究者名字中都存在逗号，所以导致分割的数据集中节点数量增大，连线数量扩大3倍（3）测试count参数（4）测试weighted参数（5）测试_institutionLevel参数

metaknowledge是基于networkx模块的进一步封装的python安装包，即在进行知识网络绘制和分析时不仅可以使用networkx模块中原有的各种方法，也可以使用metaknowledge中的高阶方法。它们修改的方式是在原地修改原始图形，而不是生成新图形，从而在处理大型网络时提高计算效率，然后有一系列可选参数来控制筛选连线或节点的条件，包括下限和上限阈值、属性的名称以及是否丢弃自循环等。在数据集中，期刊的名称都是大写，因此判断是否为期刊，只需要对journal字段对应的值进行判断即可。

1 数据2 endnote中文献导出到本地txt文件3 将本地的txt加载到python环境中3.1 测试metaknowledge读取数据3.2 自定义函数进行文献格式对应的数据提取3.2.1 将txt文件加载到python环境中3.2.2 获取到格式字段最多的文献并记录字段3.2.3 按照字段中的冒号进行对应格式的数据提取3.2.4 解决4 函数封装5 bug调试解决

1 知识网络分析基础 2 知识网络图构成 2.1 简单网络图绘制 2.2 完整网络图绘制 3 知识网络图中的术语 3.1 术语和统计量概念 3.2 获取术语信息实例 3.3 最大子群和网络图孤立点的识别 3.4 网络图节点度信息的统计

0 模块版本 1 案例源代码 2 案例详解 2.1 数据生成 2.2 提取最大节点度部群 2.3 挑选孤立组件 2.4 设置布局和单独点设置 3 全部代码

0 模块版本 2 案例源代码 2 案例详解 2.1 数据生成 2.2 边缘线颜色设置 2.3 色谱图颜色条设置 2.4 踩坑解决

0 模块版本 1 案例源代码 2 案例详解 2.1 生成数据 2.2 网络图节点与边缘信息 2.3 图像绘制 2.3.1 色谱图选定 2.3.2 节点绘制 2.3.3 边缘绘制 2.3.4 设置边缘透明度 2.3.5 设置色谱图的颜色带 3 完整结果

0 模块版本 1 案例源代码 2 案例详解 2.1 数据生成 2.2 网络图节点信息 2.3 绘制网络图连接节点 2.4 绘制度数-秩图 2.5 绘制度数直方图 2.6 图像布局

0 版本信息 1 官方示例 2 案例详解 2.1 加载图片数据 2.2 生成网络图节点和边缘 2.3 调整网络图布局 2.4 坐标系转换 2.5 设置图片的大小和中心位置 2.6 把图片放置在对应的节点上 3 函数封装 3.2 封装1 3.2 封装2

1 官方示例 2 数据来源 3 案例详解 3.1 数据读取和网络图数据构建 3.1.1 文件中数据读取 3.1.2 网络图数据的构建 3.2 孤立点查找 3.3 找到所有的以B97开头的对局 3.4 对B97开头的游戏棋局进行详细数据输出 3.5 网络图布局

1 Properties of graph 图像属性 1.1 案例 1.2 代码详解 2 Read and write graph 读入和写入图像 2.1 示例代码 2.2 代码详解 3 Simple graph 简单图形绘制 3.1 案例一：绘制无向网络图 3.2 无向图案例代码详解 3.3 案例二：有向网络图绘制 3.4 有向图案例代码详解