【驭风计划 自然语言处理】实验6：面向新冠肺炎的社会计算应用

原创 于 2024-12-12 09:27:29 发布 · 986 阅读 · 16 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理 #人工智能

案例简介

新冠肺炎疫情牵动着我们每一个人的心，在这个案例中，我们将尝试用社会计算的方法对疫情相关的新闻和谣言进行分析，助力疫情信息研究。本次作业为开放性作业，我们提供了疫情期间的社交数据，鼓励同学们从新闻、谣言以及法律文书中分析社会趋势。（提示：运用课上学到的方法，如情感分析、信息抽取、阅读理解等分析数据）

数据说明

COVID-19 社交数据共享平台 提供了与新冠疫情相关的社交数据信息，分别为疫情相关谣言 CSDC-Rumor、疫情相关中文新闻 CSDC-News和疫情相关法律文书 CSDC-Legal。

疫情相关谣言 CSDC-Rumor

这一部分的数据集收集了:

（1）自 2020 年 1 月 22 日开始的微博不实信息数据，包括被认定为不实信息的微博的内容、发布者，以及举报者、审理时间、结果等信息，截至 2020 年 3 月 1 日共 324 条微博原文，31,284 条转发和 7,912 条评论，用于帮助各位研究者分析研究疫情期间的不实信息传播；

（2）自 2020 年 1 月 18 日开始的腾讯谣言验证平台以及丁香园不实信息数据，包括被认定为正确或不实信息的谣言内容、时间以及用以判断是否为谣言的依据等信息，截至 2020 年 3 月 1 日共 507 条谣言数据，其中事实性数据 124 条，数据分布为，负例：420 正例：33 不确定：54。

疫情相关中文新闻 CSDC-News

这一部分的数据集收集了自 2020 年 1 月 1 日开始的新闻数据，包含了新闻的标题、内容、关键词等信息，截至 2020 年 3 月 16 日共收集 148,960 条新闻以及 1,653,086 条对

最低0.47元/天 解锁文章
阿胤博士
关注
【自然语言处理】面向新冠肺炎的社会计算应用
你一定能够成为你想要去成为的人。
07-11 1782
新冠肺炎疫情牵动着我们每一个人的心，在这个案例中，我们将尝试用社会计算的方法对疫情相关的新闻和谣言进行分析，助力疫情信息研究。本次作业为开放性作业，我们提供了疫情期间的社交数据，鼓励同学们从新闻、谣言以及法律文书中分析社会趋势。（提示：运用课上学到的方法，如情感分析、信息抽取、阅读理解等分析数据）
【驭风计划 深度学习】实验6：图像自然语言描述生成
Mege1的博客
12-11 219
本次案例将使用深度学习技术来完成图像自然语言描述生成任务，输入一张图片，模型会给出关于图片内容的语言描述。本案例使用coco2014数据集[1]，包含82,783张训练图片，40,504张验证图片，40,775张测试图片。案例使用Andrej Karpathy[2]提供的数据集划分方式和图片标注信息，案例已提供数据处理的脚本，只需下载数据集和划分方式即可...请阅读“源码框架与数据集”中的说明，将最终的实验报告以附件形式提交到此处！
【自然语言处理】- 作业6: 面向新冠肺炎的社会计算应用
victor_manches的博客
05-29 1281
新冠肺炎疫情牵动着我们每一个人的心，在这个案例中，我们将尝试用社会计算的方法对疫情相关的新闻和谣言进行分析，助力疫情信息研究。本次作业为开放性作业，我们提供了疫情期间的社交数据，鼓励同学们从新闻、谣言以及法律文书中分析社会趋势。（提示：运用课上学到的方法，如情感分析、信息抽取、阅读理解等分析数据）
疫情期间新浪微博社区管理平台中文举报数据及情绪识别部分代码
weixin_58139268的博客
11-19 463
随着微博平台的流行,微博平台上产生了大量难于验证的谣言信息,并在用户之间快速传播,对平台的发展和社会稳定带来巨大危害。本项目爬取了疫情期间微博普通用户发表的中文谣言数据，可用作大数据分析数据源。
虚假新闻检测数据集
12-29 7879
1.FakeNewsNet 下载链接：https://github.com/KaiDMML/FakeNewsNet 说明：该数据集包含新闻内容和正确标注真假新闻标签的社会语境特征。 使用论文： （1）A Stylometric Inquiry into Hyperpartisan and Fake News （2）Exploiting Tri-Relationship for Fake News ...
谣言检测数据集
qq_40671063的博客
12-31 1万+
谣言检测数据集
【驭风计划 自然语言处理】实验4：预训练语言模型实现与应用
Mege1的博客
12-12 740
以上代码是完整实现好的，我们需要同学对gen_data.py和config/Config.py中用# question标识的20余个问题进行回答，并运行模型，测试模型在有100% / 50% / 10% training data（通过随机sample原training set一部分的数据，10%代表低资源的设定）的情况下模型在dev set上的效果（如果服务器资源有限，也可以只测试10%的结果，并在报告中提及）对于模型进行改进，提升关系抽取的能力，这里可以参考一些DocRED最新工作，进行复现。
【驭风计划 自然语言处理】实验2：seq2seq模型——机器翻译
Mege1的博客
12-12 651
seq2seq是神经机器翻译的主流框架，如今的商用机器翻译系统大多都基于其构建，在本案例中，我们将使用由NIST提供的中英文本数据训练一个简单的中英翻译系统，在实践中学习seq2seq的具体细节，以及了解机器翻译的基本技术。seq2seq模型从根本上讲，机器翻译需要将输入序列（源语言中的单词）映射到输出序列（目标语言中的单词）。正如我们在课堂上讨论的那样，递归神经网络（RNN）可有效处理此类顺序数据。机器翻译中的一个重要难题是输入和输出序列之间没有一对一的对应关系。
【驭风计划 自然语言处理】实验1：Word2Vec&TranE的实现
Mege1的博客
12-12 649
Word2Vec是词嵌入的经典模型，它通过词之间的上下文信息来建模词的相似度。TransE是知识表示学习领域的经典模型，它借鉴了Word2Vec的思路，用“头实体+关系=尾实体”这一简单的训练目标取得了惊人的效果。本次任务要求在给定的框架中分别基于Text8和Wikidata数据集实现Word2Vec和TransE，并用具体实例体会词向量和实体/关系向量的含义。
【驭风计划 深度学习】实训3：PyTorch实战: CIFAR图像分类
Mege1的博客
12-11 373
使用PyTorch分别实现多层感知机(MLP)和卷积网络(ConvNet)，并完成CIFAR10数据集（http://www.cs.toronto.edu/~kriz/cifar.html）分类。本案例不提供初始代码，请自行配置网络和选取超参数，包括层数、卷积核数目、激活函数类型、损失函数类型、优化器等方面。l比较不同模型配置下的结果，至少从三个方面作比较和分析，例如层数、卷积核数目、激活函数类型、损失函数类型、优化器等。l详细介绍所使用的模型及其结果，至少包括超参数选取，损失函数、准确率及其曲线；
Sarcasm-Dataset
03-05
讽刺数据集 在新闻头条中检测讽刺。 有关整个代码，请参考文件。 数据集链接。 使用的框架： 使用TensorFlow v2.2.0训练的模型 使用的模型架构： model.summary() Model: "sequential" _________________________________________________________________ Layer (type) Output Shape Param # ================================================================= embedding (Embedding) (None, 32, 32) 320000 _________________
Novel Corona Virus 2019 Dataset（新型冠状病毒2019年数据集）
不务正业的猿
10-14 2783
原文： Novel Corona Virus 2019 Dataset Day level information on covid-19 affected cases From World Health Organization - On 31 December 2019, WHO was alerted to several cases of pneumonia in Wuhan City, Hubei Province of China. The virus did not match any
【数据集下载】虚假内容检测，谣言检测，事实核查--纯文本，多模态，多语言，社交信息--rumor/misinformation/fake news detection dataset download
热门推荐
me_yundou的博客
11-09 1万+
本博客系博主个人理解和整理所得，包含内容无法详尽，如有补充，欢迎讨论。这里只提供数据集相关介绍和来源出处，或者下载地址等，因版权原因不提供数据集所含的元数据。如有需要，请自行下载。博主目前暂时收集和整理了这些数据集，“其他”类别中的数据集还没有进行详细分析，同时还有许多不完善的地方。如有补充或者错漏敬请大家在评论区指正。会持续更新，对数据集进行详细介绍，提供相应的数据集下载地址。
python数据分析针对“谣言敏感用户发布的微博文本数据集.csv”中的“用户id”，构建用户画像，标签体系见表2-2，获取字段内容见该表，将获取的数据保存为“谣言敏感用户数据集.csv”。用户画像由...
weixin_42581846的博客
12-23 484
为了构建用户画像，你需要使用 Python 读取 "谣言敏感用户发布的微博文本数据集.csv" 文件中的 "用户id" 字段，并根据表 2-2 中的标签体系获取其他字段的内容。接下来，你可以使用 Python 的 csv 模块将获取的数据保存到 "谣言敏感用户数据集.csv" 文件中。 首先，使用 Python 的 csv 模块读取 "谣言敏感用户发布的微博文本数据集.csv" 文件中的数据： i...
【数据结构与算法】- 周测三
victor_manches的博客
05-22 716
课程链接:驭风计划是由清华大学老师教授的，其分为四门课，包括: 机器学习(张敏教授) ， 深度学习(胡晓林教授), 计算机语言(刘知远教授) 以及数据结构与算法(邓俊辉教授)。本人是综合成绩第一名，除了数据结构与算法其他单科均为第一名。代码和报告均为本人自己实现，由于篇幅限制，只展示任务布置以及关键代码，如果需要报告或者代码可以私聊博主部分授课老师为邓俊辉教授，主要通过从贪心，分治，图搜索，动态规划 ， 散列表， 计算几何入门数据结构与算法。
驭风计划数据结构与算法考核答案
victor_manches的博客
06-03 862
驭风计划是由清华大学老师教授的，其分为四门课，包括: 机器学习(张敏教授) ， 深度学习(胡晓林教授), 计算机语言(刘知远教授) 以及数据结构与算法(邓俊辉教授)。代码和报告均为本人自己实现，由于篇幅限制，只展示任务布置以及关键代码，如果需要报告或者代码可以私聊博主。数据结构与算法部分授课老师为邓俊辉教授，主要通过从贪心，分治，图搜索，动态规划 ， 散列表， 计算几何入门数据结构与算法，有想法的可以私聊我。
【深度学习】- 作业1: Softmax实现手写数字识别
victor_manches的博客
05-19 907
本次案例中，你需要用python实现Softmax回归方法，用于MNIST手写数字数据集分类任务。你需要完成前向计算loss和参数更新。你需要首先实现Softmax函数和交叉熵损失函数的计算。在更新参数的过程中，你需要实现参数梯度的计算，并按照随机梯度下降法来更新参数。
【机器学习】- 作业3: 基于贝叶斯的垃圾邮件识别
victor_manches的博客
05-19 871
电子邮件是互联网的一项重要服务，在大家的学习、工作和生活中会广泛使用。但是大家的邮箱常常被各种各样的垃圾邮件填充了。有统计显示，每天互联网上产生的垃圾邮件有几百亿近千亿的量级。因此，对电子邮件服务提供商来说，垃圾邮件过滤是一项重要功能。而朴素贝叶斯算法在垃圾邮件识别任务上一直表现非常好，至今仍然有很多系统在使用朴素贝叶斯算法作为基本的垃圾邮件识别算法。本次实验数据集来自Trec06。
【自然语言处理】 - 作业2: seq2seq模型机器翻译
victor_manches的博客
05-22 1581
seq2seq是神经机器翻译的主流框架，如今的商用机器翻译系统大多都基于其构建，在本案例中，我们将使用由NIST提供的中英文本数据训练一个简单的中英翻译系统，在实践中学习seq2seq的具体细节，以及了解机器翻译的基本技术。
驭风计划深度学习实验六
最新发布
04-29
好的，我现在需要处理用户关于“驭风计划 深度学习 实验六 资料 教程”的查询。首先，我需要确认用户的具体需求。他们可能在寻找实验六的具体内容、教程或者相关资料。由于“驭风计划”可能是一个内部或特定机构的...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值