爬虫：在爬取网站时遇到爬取内容少、出现乱码等问题，求各路大神指教，在线等，急急急！！！

原创

于 2019-09-25 22:09:01 发布 · 置顶 · 554 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Python #爬虫 #扒数据 #Xpath #爬网站

在尝试爬取http://www.2bmv.com/index_1.html时遇到问题，使用XPath获取的内容远少于实际显示。可能是编码问题或解析不完整，急需解决方法。

爬取的网站是：http://www.2bmv.com/index_1.html
Xpath插件选中的内容使用Xpath Helper工具查询，同样的路径下内容很多，但是爬取出来的内容就非常少。
运行结果
代码如下：

import requests
from lxml import html
import json

etree = html.etree

class BaoxiaoSpider:
    # url_list
    def __init__(self):
        self.url_temp = "http://www.2bmv.com/index_{}.html"
        self.headers = {
   
   "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36"}

    # 获取url_list中的网