爬虫中常用的几种数据持久化方式和Django与vue的交互

爬虫中常用的几种数据持久化方式和Django与vue的交互

这里我们说到爬虫中数据持久化方式和Django与vue的交互

Django与vue的交互后端:

CORS_ORIGIN_ALLOW_ALL = True    #开启接口
'corsheaders.middleware.CorsMiddleware',    #放进配置里
就可以完成Django与vue的交互了

第一种存入csv

from lxml import etree
from selenium import webdriver
from time import sleep
import csv    #导入csv模块

ww = webdriver.Chrome(executable_path=r'E:\人工智能\第六个月爬虫\chromedriver.exe')
ww.get('https://xueqiu.com/')
js = 'window.scrollTo(0, document.body.scrollHeight)'
for i in range(3):
    ww.execute_script(js)
    sleep(5)

html = ww.page_source
tree = etree.HTML(html)
p_list = tree.xpath('//div[@class="AnonymousHome_auchor_1RR"]')
# 在这里定义你需要的字段
with open('./a4.csv', 'w', encoding='utf-8') as f:
    w = csv.writer(f, delimi