【科学文献计量】利用pybibx分析Scopus文献数据集（EDA,N-Grams,Cluster,Network analysis,NLP）

已于 2023-10-11 14:42:57 修改
阅读量1.7k 收藏 7
点赞数 1
CC 4.0 BY-SA版权
分类专栏： python科学计量数据可视化 文章标签： N-Grams 主题模型 摘要提取 知识图谱 文献聚类
于 2023-10-11 14:41:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lys_828/article/details/133754558
本文档详细介绍了如何利用pybibx库对Scopus文献数据进行探索式数据分析（EDA）、N-Grams可视化、文献聚类和网络可视化，包括词云图、桑基图、树图和作者生产力分析。通过NLP技术进行主题模型和摘要总结，展示了预训练模型、ChatGPT-4和BERT的摘要生成效果。

利用pybibx分析Scopus文献数据集

手动反爬虫：原博地址 https://blog.youkuaiyun.com/lys_828/article/details/133754558

 知识梳理不易，请尊重劳动成果，文章仅发布在优快云网站上，在其他网站看到该博文均属于未经作者授权的恶意爬取信息
 
 欢迎交流
 作者邮箱：xianl828@163.com
 微信：lys_828

1 运行前准备

1.1 数据集

Scopus数据格式需要为bib格式，文件放置在assets文件夹下的bibs数据文件夹中
在这里插入图片描述

1.2 前置库

numpy的版本需要小于1.25
在这里插入图片描述
具体的报错信息如下

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【科学文献计量】使用pybibx对自己的文献数据集进行分析的模板整理
lys_828的博客
10-12 592
介绍使用pybibx库对个人数据进行文献分析的模板代码
【科学文献计量】剔除来自unknown的机构与作者文献文献——数据清洗
lys_828的博客
04-11 579
有时在研究过程中，会遇到不同类型的文献，但是有些文献中的数据会有部分缺失，常见的比如机构，作者和年份等字段，因此为了使用科研工具进行有效的文献计量，数据清洗就显着十分重要
基于Python的学术期刊全文数据爬取与文献计量分析实战指南
最新发布
2201_76125261的博客
11-02 442
在当今大数据时代，学术研究正变得越来越依赖数据驱动的方法。文献计量分析作为研究科学文献的重要方法，能够帮助研究者识别研究趋势、分析学科发展动态、评估学术影响力等。本文将详细介绍如何使用Python爬虫技术获取学术期刊全文数据（在获得授权的前提下），并进行深入的文献计量分析。异步并发处理: 使用asyncio和aiohttp实现高效并发请求智能解析: 结合多种解析方法和选择器策略提高提取准确性反爬应对: 集成代理IP、请求头轮换、请求频率控制等策略数据持久化: 支持数据库和文件系统双重存储分析可视化。
用python做文献计量学全代码
环湖数据科学知识共享平台
08-22 2382
各位朋友大家好，今天给大家带来文献计量学的知识和全代码，文献计量学是属于一门边缘学科，交叉科学。我在网上浏览了一下，用R和专属工具做的已经有老师进行了展示，python的还没有所以在这里给大家一个全面的展示 下面把全代码给大家： import metaknowledge as mk import pandas import matplotlib.pyplot as plt import seaborn as sns #%matplotlib inline get_ipython().
文献数据库介绍
热铁皮屋上的猫的博客
01-14 1004
Association for Computing Machinery(ACM) ACM期刊全文数据库（信息计算机领域） 直接导入 American Society of Mechanical Engineer 美国机械工程数据库 直接导入EndNote。 Elsevier SciVerse SDOS EJOS 直接导入 SpringerLink 电子期刊数据库 直接导入 Web of Kno...
文献计量学分析实战（2）——pyBibx
weixin_49320263的博客
02-03 2462
文献计量学分析实战（2）——pyBibx
COLING 2022 | CSL-大规模中文科学文献数据集
Paper weekly
09-29 1874
©PaperWeekly 原创 ·作者 |李煜东单位 |深圳大学研究方向 |多模态机器学习论文 CSL: A Large-scale Chinese Scientific Literature Dataset 发表在自然语言处理顶会 COLING 2022 上，由中国地质大学（北京）、深圳大学和腾讯 AI Lab 合作完成。该工作提出了首个中文科学文献数据集-CSL，包含约 40 万条中...
bibliometric-privacy-network-analysis:隐私研究社区内部文献计量记录网络分析中使用的脚本，查询和其他数据
04-29
这是一个存储库，提供了Scopus API所提供的用于私密地查看文献计量记录网络的源代码。 自述文件描述了如何使用源代码和要求，但了解它不是作为可重用的软件编写的，因此在某些方面有些粘合。 内容 要求和设置 数据...
【科学文献计量】pybibx论文原文精读与对照翻译
lys_828的博客
10-08 2255
文献计量和科学计量分析为复杂的研究领域和跨不同学科的协作动态提供了宝贵的视角。本文介绍了 pyBibX，这是一个 Python 库，旨在对来自 Scopus、Web of Science 和 PubMed 的原始数据文件进行全面的文献计量和科学计量分析，将最先进的人工智能 (AI) 功能无缝集成到其核心功能中。pyBibX可执行全面的探索性数据分析 (EDA)，通过视觉上吸引人的图形插图呈现结果。网络功能已被巧妙地集成，包括引文、协作和相似性分析。
【科学文献计量】利用ChatGPT-4进行科学文献计量结果分析
lys_828的博客
10-12 910
基于ChatGPT-4 analysis的前提是已经为其提供了语料，这个语料就是前面进行文献科学计量产生的结果，比如图表数据，本文就是介绍截止到写这篇博客时，pybibx支持的ChatGPT-4 analysis相关的函数。
人工智能文献计量与可视化分析
12-04
摘要：真正意义上的人工智能诞生到今天不过百年,然而人工智能技术与我们的日常生活中早已密不可分,小到手机智能语音大到工厂中的制造器人,都能看到人工智能技术的影子。本文将以科学计量学与引文分析法为理论指导,将Web of Science数据库收录的人工智能领域的文献为研究对象,并使用CiteSpace软件系统制作可视化图谱、数据统计表格,对2010年至2019年国际人工智能研究领域规律和发展状况等进行分析,通过这一新视角来研究人工智能的发展规律与现状,希望能为我国人工智能发展提供有力的经验建议。 关键词：科学计量;引文分析法:人工智能;科学技术知识;期刊文献;
TEMAC：文献计量方法：整合荟萃分析的理论
02-18
天马 文献计量学方法：合并荟萃分析理论
10 大中文医学数据集汇总：涵盖神农中医药、中医药古籍、医学推理、医学问答……...
fengdu78的博客
01-17 2379
作者：李姝编辑：李宝珠转载请联系本公众号获得授权，并标明来源HyperAI超神经为大家准备了 10 个中文医学相关的数据集，支持在线使用与加速下载，快来体验吧~医疗人工智能的快速发展离不开高质量数据集的支持。从疾病诊断到药物研发，再到个性化医疗，数据集在推动机器视觉、大模型等应用于医学领域中发挥着不可或缺的作用。医学数据集的形式多样，涵盖了不同维度和领域的数据资源。例如，在疾病诊断领域，像 RJU...
【科学文献计量】pybibx模块安装与使用
lys_828的博客
10-08 1641
文献计量学和科学计量学分析为复杂的研究领域和跨越不同学科的合作动态提供了宝贵的视角。本文介绍了pyBibX，这是一个python库，用于对来自Scopus , Web of Science和PubMed的原始数据文件进行全面的文献计量和科学计量分析，并将最先进的AI功能无缝集成到其核心功能中。该模块执行一个全面的EDA，通过视觉上吸引人的图形插图呈现结果。网络功能已被巧妙地集成，包括引用、协作和相似度分析。
如何查阅资料？（找数据集，文献...）
Drug discovery
10-16 1万+
首先我们使用谷歌： 用中文搜索风景图数据集 然后我发现并没有我想要，或者是说我想要的资料很少，那我我应该怎么做呢？ 然后我使用英文搜索：Landspace dataset，就搜索到了很多数据，其中有了我想要的东西 为什么会这样？ 当你使用中文搜索的时候，就会搜索到的结果是中国的，那么我用英语搜索，那么得到的便可能是整个世界上有用的数据。 ...
Py之ipython：Python库之ipython的简介、安装、使用方法详细攻略
热门推荐
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
05-15 2万+
ipython是一个python的交互式shell，比默认的pythonshell好用得多，支持变量自动补全，自动缩进，支持bashshell命令，内置了许多很有用的功能和函数。学习ipython将会让我们以一种更高的效率来使用python。同时它也是利用Python进行科学计算和交互可视化的一个最佳的平台。IPython提供了两个主要的组件一个强大的python交互式shell;供Jupyternotebooks使用的一个Jupyter内核（IPythonnotebook）。...
pyBibX：一款强大的文献计量与科学计量分析工具
gitblog_00417的博客
03-31 749
pyBibX：一款强大的文献计量与科学计量分析工具 项目介绍 pyBibX 是一个功能强大的 Python 库，专门用于文献计量和科学计量分析。该库能够处理 Scopus、Web of Science (WOS) 和 PubMed 等科学数据库生成的原始文件（如 .bib、.csv 和 .txt 格式），并结合先进的人工智能工具，提供深入的数据分析和可视化功能。 项目技术分析 pyBibX 利用 ...
Python的文献计量分析流程实现--含代码
青风learing
02-20 5364
代码在jupyterNotebook中运行成功，过程中需要的包，已经安装完毕，每一代码格代表一个单元的代码，如需Pycharm运行，适当修改代码 # 导入数据 import pandas as pd WXdata=pd.read_excel('C:\\Users\\qingfeng\\Desktop\\PyDm_data.xlsx',sheet_name='WXdata') # 读取PyDm_da...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lys_828

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值