Python for循环时把所有的数据都记载到同一行内怎么办

dong_hm

于 2020-08-07 11:18:35 发布

阅读量1.4k

点赞数

文章标签： python

本文链接：https://blog.youkuaiyun.com/weixin_45181646/article/details/107856986

版权

在练习Python爬虫抓取论文信息时，遇到数据存储问题，原本数据只显示在屏幕上并未保存到表格。通过使用pandas.DataFrame.at方法，解决了数据覆盖问题，成功将所有信息保存至本地表格，实现了每条数据独立存储的目标。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近在练习代码爬取论文的简要信息的时候，发现数据存储是一块短板。
现在已经可以爬取好name,author,keyword,paper_doi,abstract等需要的相关信息，只要把print全部打开就可以完全显示出来，但是也只是显示在屏幕上，并不能保存至本地的表格中。

def To_get_abstract(url, i):
    headers = {
   'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'}  # 选择你自己的headers
    res = requests.get(url, headers=headers).text
    # print(res)
    html_xpath = etree.HTML(res)
    abstract = html_xpath.xpath('//p/text()')[0].strip()#找到摘要
    name = html_xpath.xpath('//h2/text()')[0].strip()
    keywords = html_xpath.xpath('//li[@class="even typeLabels group1"]/span[@class="itemExtraFieldsValue"]/a/text()')
    keyword = ','.join(keywords)
    paper_doi = html_xpath.xpath('//li[@class="odd typeTextarea group1"]/span[@class=

最低0.47元/天解锁文章