用Python爬取了《扫黑风暴》数据,并将其可视化分析后,终于知道它为什么这么火了~...

Python爬取托福阅读练习题 相信考托的老铁们都知道题目的可贵,在这里跟大家分享一下托福tpo爬虫,这里爬取的是阅读。 首先设置请求头。ua自行在chrome开发者复制粘贴,这里不赘述。 headers = { 'Host':'top.zhan.com', 'Referer':'http://top.zhan.com/toefl/speak/task12.html', 'User-Agent':'', } 接下来,定义请求页面函数。第一个参数是题目总页面数值,第二个参数是小题分页面数值。 def get_pag... 阅读详情

今天来跟大家分享一下从数据可视化角度看扫黑风暴~

  • 绪论

  • 如何查找视频id

  • 项目结构

    • 制作词云图

    • 制作最近评论数条形图与折线图

    • 制作每小时评论条形图与折线图

    • 制作最近评论数饼图

    • 制作每小时评论饼图

    • 制作观看时间区间评论统计饼图

    • 制作扫黑风暴主演提及占比饼图

    • 制作评论内容情感分析图

    • 评论的时间戳转换为正常时间

    • 评论内容读入CSV

    • 统计一天各个时间段内的评论数

    • 统计最近评论数

    • 爬取评论内容

    • 爬取评论时间

    • 一.爬虫部分

    • 二.数据处理部分

    • 三. 数据分析

绪论

本期是对腾讯热播剧——扫黑风暴的一次爬虫与数据分析,耗时两个小时,总爬取条数3W条评论,总体来说比较普通,值得注意的一点是评论的情绪文本分析处理,这是第一次接触的知识。

爬虫方面:由于腾讯的评论数据是封装在json里面,所以只需要找到json文件,对需要的数据进行提取保存即可。

  • 视频网址:https://v.qq.com/x/cover/mzc00200lxzhhqz.html

  • 评论json数据网址:https://video.coral.qq.com/varticle/7225749902/comment/v2

  • 注:只要替换视频数字id的值,即可爬取其他视频的评论

如何查找视频id?

项目结构:

一. 爬虫部分:

1.爬取评论内容代码:spiders.py

import requests
import re
import random


def get_html(url, params):
    uapools = [
        'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.153 Safari/537.36',
        'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0',
        'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.75.14 (KHTML, like Gecko) Version/7.0.3 Safari/537.75.14'
    ]

    thisua = random.choice(uapools)
    headers = {"User-Agent": thisua}
    r = requests.get(url, headers=headers, params=params)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    r.encoding = 'utf-8'  # 不加此句出现乱码
    return r.text


def parse_page(infolist, data):
    commentpat = '"content":"(.*?)"'
    lastpat = '"last":"(.*?)"'

    commentall = re.compile(commentpat, re.S).findall(data)
    next_cid = re.compile(lastpat).findall(data)[0]

    infolist.append(commentall)

    return next_cid



def print_comment_list(infolist):
    j = 0
    for page in infolist:
        print('第' + str(j + 1) + '页\n')
        commentall = page
        for i in range(0, len(commentall)):
            print(commentall[i] + '\n')
        j += 1


def save_to_txt(infolist, path):
    fw = open(path, 'w+', encoding='utf-8')
    j = 0
    for page in infolist:
        #fw.write('第' + str(j + 1) + '页\n')
        commentall = page
        for i in range(0, len(commentall)):
            fw.write(commentall[i] + '\n')
        j += 1
    fw.close()


def main():
    infolist = []
    vid = '7225749902';
    cid = "0";
    page_num = 3000
    url = 'https://video.coral.qq.com/varticle/' + vid + '/comment/v2'
    #print(url)

    for i in range(page_num):
        params = {'orinum': '10', 'cursor': cid}
        html = get_html(url, params)
        cid = parse_page(infolist, html)


    print_comment_list(infolist)
    save_to_txt(infolist, 'content.txt')


main()

2.爬取评论时间代码:sp.py

import requests
import re
import random


def get_html(url, params):
    uapools = [
        'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.153 Safari/537.36',
        'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0',
        'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.75.14 (KHTML, like Gecko) Version/7.0.3 Safari/537.75.14'
    ]

    thisua = random.choice(uapools)
    headers = {"User-Agent": thisua}
    r = requests.get(url, headers=headers, params=params)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    r.encoding = 'utf-8'  # 不加此句出现乱码
    return r.text


def parse_page(infolist, data):
    commentpat = '"time":"(.*?)"'
    lastpat = '"last":"(.*?)"'

    commentall = re.compile(commentpat, re.S).findall(data)
    next_cid = re.compile(lastpat).findall(data)[0]

    infolist.append(commentall)

    return next_cid



def print_comment_list(infolist):
    j = 0
    for page in infolist:
        print('第' + str(j + 1) + '页\n')
        commentall = page
        for i in range(0, len(commentall)):
            print(commentall[i] + '\n')
        j += 1


def save_to_txt(infolist, path):
    fw = open(path, 'w+', encoding='utf-8')
    j = 0
    for page in infolist:
        #fw.write('第' + str(j + 1) + '页\n')
        commentall = page
        for i in range(0, len(commentall)):
            fw.write(commentall[i] + '\n')
        j += 1
    fw.close()


def main():
    infolist = []
    vid = '7225749902';
    cid = "0";
    page_num =3000
    url = 'https://video.coral.qq.com/varticle/' + vid + '/comment/v2'
    #print(url)

    for i in range(page_num):
        params = {'orinum': '10', 'cursor': cid}
        html = get_html(url, params)
        cid = parse_page(infolist, html)


    print_comment_list(infolist)
    save_to_txt(infolist, 'time.txt')


main()

二.数据处理部分

1.评论的时间戳转换为正常时间 time.py

# coding=gbk
import csv
import time

csvFile = open("data.csv",'w',newline='',encoding='utf-8')
writer = csv.writer(csvFile)
csvRow = []
#print(csvRow)
f = open("time.txt",'r',encoding='utf-8')
for line in f:
    csvRow = int(line)
    #print(csvRow)

    timeArray = time.localtime(csvRow)
    csvRow = time.strftime("%Y-%m-%d %H:%M:%S", timeArray)
    print(csvRow)
    csvRow = csvRow.split()
    writer.writerow(csvRow)

f.close()
csvFile.close()

2.评论内容读入csv  CD.py

# coding=gbk
import csv
csvFile = open("content.csv",'w',newline='',encoding='utf-8')
writer = csv.writer(csvFile)
csvRow = []

f = open("content.txt",'r',encoding='utf-8')
for line in f:
    csvRow = line.split()
    writer.writerow(csvRow)

f.close()
csvFile.close()

3.统计一天各个时间段内的评论数 py.py

# coding=gbk
import csv

from pyecharts import options as opts
from sympy.combinatorics import Subset
from wordcloud import WordCloud

with open('../Spiders/data.csv') as csvfile:
    reader = csv.reader(csvfile)

    data1 = [str(row[1])[0:2] for row in reader]

    print(data1)
print(type(data1))


#先变成集合得到seq中的所有元素,避免重复遍历
set_seq = set(data1)
rst = []
for item in set_seq:
    rst.append((item,data1.count(item)))  #添加元素及出现个数
rst.sort()
print(type(rst))
print(rst)

with open("time2.csv", "w+", newline='', encoding='utf-8') as f:
    writer = csv.writer(f, delimiter=',')
    for i in rst:                # 对于每一行的,将这一行的每个元素分别写在对应的列中
        writer.writerow(i)

with open('time2.csv') as csvfile:
     reader = csv.reader(csvfile)
     x = [str(row[0]) for row in reader]
     print(x)
with open('time2.csv') as csvfile:
    reader = csv.reader(csvfile)
    y1 = [float(row[1]) for row in reader]
    print(y1)

处理结果(评论时间,评论数)

4.统计最近评论数 py1.py

# coding=gbk
import csv

from pyecharts import options as opts
from sympy.combinatorics import Subset
from wordcloud import WordCloud

with open('../Spiders/data.csv') as csvfile:
    reader = csv.reader(csvfile)

    data1 = [str(row[0]) for row in reader]
    #print(data1)
print(type(data1))


#先变成集合得到seq中的所有元素,避免重复遍历
set_seq = set(data1)
rst = []
for item in set_seq:
    rst.append((item,data1.count(item)))  #添加元素及出现个数
rst.sort()
print(type(rst))
print(rst)



with open("time1.csv", "w+", newline='', encoding='utf-8') as f:
    writer = csv.writer(f, delimiter=',')
    for i in rst:                # 对于每一行的,将这一行的每个元素分别写在对应的列中
        writer.writerow(i)

with open('time1.csv') as csvfile:
     reader = csv.reader(csvfile)
     x = [str(row[0]) for row in reader]
     print(x)
with open('time1.csv') as csvfile:
    reader = csv.reader(csvfile)
    y1 = [float(row[1]) for row in reader]

    print(y1)



处理结果(评论时间,评论数)

三. 数据分析

数据分析方面:涉及到了词云图,条形,折线,饼图,后三者是对评论时间与主演占比的分析,然而腾讯的评论时间是以时间戳的形式显示,所以要进行转换,再去统计出现次数,最后,新加了对评论内容的情感分析。

1.制作词云图

wc.py

import numpy as np
import re
import jieba
from wordcloud import WordCloud
from matplotlib import pyplot as plt
from PIL import Image

# 上面的包自己安装,不会的就百度

f = open('../Spiders/content.txt', 'r', encoding='utf-8')  # 这是数据源,也就是想生成词云的数据
txt = f.read()  # 读取文件
f.close()  # 关闭文件,其实用with就好,但是懒得改了
# 如果是文章的话,需要用到jieba分词,分完之后也可以自己处理下再生成词云
newtxt = re.sub("[A-Za-z0-9\!\%\[\]\,\。]", "", txt)
print(newtxt)
words = jieba.lcut(newtxt)

img = Image.open(r'wc.jpg')  # 想要搞得形状
img_array = np.array(img)

# 相关配置,里面这个collocations配置可以避免重复
wordcloud = WordCloud(
    background_color="white",
    width=1080,
    height=960,
    font_path="../文悦新青年.otf",
    max_words=150,
    scale=10,#清晰度
    max_font_size=100,
    mask=img_array,
    collocations=False).generate(newtxt)

plt.imshow(wordcloud)
plt.axis('off')
plt.show()
wordcloud.to_file('wc.png')

轮廓图:wc.jpg

词云图:result.png(注:这里要把英文字母过滤掉)

2.制作最近评论数条形图与折线图  DrawBar.py

# encoding: utf-8
import csv
import pyecharts.options as opts
from pyecharts.charts import Bar
from pyecharts.globals import ThemeType


class DrawBar(object):

    """绘制柱形图类"""
    def __init__(self):
        """创建柱状图实例,并设置宽高和风格"""
        self.bar = Bar(init_opts=opts.InitOpts(width='1500px', height='700px', theme=ThemeType.LIGHT))

    def add_x(self):
        """为图形添加X轴数据"""
        with open('time1.csv') as csvfile:
            reader = csv.reader(csvfile)
            x = [str(row[0]) for row in reader]
            print(x)


        self.bar.add_xaxis(
            xaxis_data=x,

        )

    def add_y(self):
        with open('time1.csv') as csvfile:
            reader = csv.reader(csvfile)
            y1 = [float(row[1]) for row in reader]

            print(y1)



        """为图形添加Y轴数据,可添加多条"""
        self.bar.add_yaxis(  # 第一个Y轴数据
            series_name="评论数",  # Y轴数据名称
            y_axis=y1,  # Y轴数据
            label_opts=opts.LabelOpts(is_show=True,color="black"),  # 设置标签
            bar_max_width='100px',  # 设置柱子最大宽度
        )


    def set_global(self):
        """设置图形的全局属性"""
        #self.bar(width=2000,height=1000)
        self.bar.set_global_opts(
            title_opts=opts.TitleOpts(  # 设置标题
                title='扫黑风暴近日评论统计',title_textstyle_opts=opts.TextStyleOpts(font_size=35)

            ),
            tooltip_opts=opts.TooltipOpts(  # 提示框配置项(鼠标移到图形上时显示的东西)
                is_show=True,  # 是否显示提示框
                trigger="axis",  # 触发类型(axis坐标轴触发,鼠标移到时会有一条垂直于X轴的实线跟随鼠标移动,并显示提示信息)
                axis_pointer_type="cross"  # 指示器类型(cross将会生成两条分别垂直于X轴和Y轴的虚线,不启用trigger才会显示完全)
            ),
            toolbox_opts=opts.ToolboxOpts(),  # 工具箱配置项(什么都不填默认开启所有工具)

        )

    def draw(self):
        """绘制图形"""

        self.add_x()
        self.add_y()
        self.set_global()
        self.bar.render('../Html/DrawBar.html')  # 将图绘制到 test.html 文件内,可在浏览器打开
    def run(self):
        """执行函数"""
        self.draw()



if __name__ == '__main__':
    app = DrawBar()

app.run()

效果图:DrawBar.html

3.制作每小时评论条形图与折线图  DrawBar2.py

# encoding: utf-8
# encoding: utf-8
import csv
import pyecharts.options as opts
from pyecharts.charts import Bar
from pyecharts.globals import ThemeType


class DrawBar(object):

    """绘制柱形图类"""
    def __init__(self):
        """创建柱状图实例,并设置宽高和风格"""
        self.bar = Bar(init_opts=opts.InitOpts(width='1500px', height='700px', theme=ThemeType.MACARONS))

    def add_x(self):
        """为图形添加X轴数据"""
        str_name1 = '点'

        with open('time2.csv') as csvfile:
            reader = csv.reader(csvfile)
            x = [str(row[0] + str_name1) for row in reader]
            print(x)


        self.bar.add_xaxis(
            xaxis_data=x
        )

    def add_y(self):
        with open('time2.csv') as csvfile:
            reader = csv.reader(csvfile)
            y1 = [int(row[1]) for row in reader]

            print(y1)



        """为图形添加Y轴数据,可添加多条"""
        self.bar.add_yaxis(  # 第一个Y轴数据
            series_name="评论数",  # Y轴数据名称
            y_axis=y1,  # Y轴数据
            label_opts=opts.LabelOpts(is_show=False),  # 设置标签
            bar_max_width='50px',  # 设置柱子最大宽度

        )


    def set_global(self):
        """设置图形的全局属性"""
        #self.bar(width=2000,height=1000)
        self.bar.set_global_opts(
            title_opts=opts.TitleOpts(  # 设置标题
                title='扫黑风暴各时间段评论统计',title_textstyle_opts=opts.TextStyleOpts(font_size=35)

            ),
            tooltip_opts=opts.TooltipOpts(  # 提示框配置项(鼠标移到图形上时显示的东西)
                is_show=True,  # 是否显示提示框
                trigger="axis",  # 触发类型(axis坐标轴触发,鼠标移到时会有一条垂直于X轴的实线跟随鼠标移动,并显示提示信息)
                axis_pointer_type="cross"  # 指示器类型(cross将会生成两条分别垂直于X轴和Y轴的虚线,不启用trigger才会显示完全)
            ),
            toolbox_opts=opts.ToolboxOpts(),  # 工具箱配置项(什么都不填默认开启所有工具)

        )

    def draw(self):
        """绘制图形"""

        self.add_x()
        self.add_y()
        self.set_global()
        self.bar.render('../Html/DrawBar2.html')  # 将图绘制到 test.html 文件内,可在浏览器打开
    def run(self):
        """执行函数"""
        self.draw()



if __name__ == '__main__':
    app = DrawBar()

app.run()

效果图:DrawBar2.html

4.制作最近评论数饼图   pie_pyecharts.py

import csv

from pyecharts import options as opts
from pyecharts.charts import Pie
from random import randint

from pyecharts.globals import ThemeType

with open('time1.csv') as csvfile:
    reader = csv.reader(csvfile)
    x = [str(row[0]) for row in reader]
    print(x)
with open('time1.csv') as csvfile:
    reader = csv.reader(csvfile)
    y1 = [float(row[1]) for row in reader]

    print(y1)



num = y1
lab = x
(
    Pie(init_opts=opts.InitOpts(width='1700px',height='450px',theme=ThemeType.LIGHT))#默认900,600
    .set_global_opts(
        title_opts=opts.TitleOpts(title="扫黑风暴近日评论统计",
                                               title_textstyle_opts=opts.TextStyleOpts(font_size=27)),legend_opts=opts.LegendOpts(

            pos_top="10%", pos_left="1%",# 图例位置调整
            ),)
    .add(series_name='',center=[280, 270], data_pair=[(j, i) for i, j in zip(num, lab)])#饼图
   .add(series_name='',center=[845, 270],data_pair=[(j,i) for i,j in zip(num,lab)],radius=['40%','75%'])#环图
    .add(series_name='', center=[1380, 270],data_pair=[(j, i) for i, j in zip(num, lab)], rosetype='radius')#南丁格尔图
).render('../Html/pie_pyecharts.html')

效果图

在这里插入图片描述

5.制作每小时评论饼图  pie_pyecharts2.py

import csv

from pyecharts import options as opts
from pyecharts.charts import Pie
from random import randint

from pyecharts.globals import ThemeType

str_name1 = '点'

with open('time2.csv') as csvfile:
    reader = csv.reader(csvfile)
    x = [str(row[0]+str_name1) for row in reader]
    print(x)
with open('time2.csv') as csvfile:
    reader = csv.reader(csvfile)
    y1 = [int(row[1]) for row in reader]

    print(y1)



num = y1
lab = x
(
    Pie(init_opts=opts.InitOpts(width='1650px',height='500px',theme=ThemeType.LIGHT,))#默认900,600
     .set_global_opts(
        title_opts=opts.TitleOpts(title="扫黑风暴每小时评论统计"
                                  ,title_textstyle_opts=opts.TextStyleOpts(font_size=27)),
        legend_opts=opts.LegendOpts(

            pos_top="8%", pos_left="4%",# 图例位置调整
            ),
    )
    .add(series_name='',center=[250, 300], data_pair=[(j, i) for i, j in zip(num, lab)])#饼图
    .add(series_name='',center=[810, 300],data_pair=[(j,i) for i,j in zip(num,lab)],radius=['40%','75%'])#环图
    .add(series_name='', center=[1350, 300],data_pair=[(j, i) for i, j in zip(num, lab)], rosetype='radius')#南丁格尔图
).render('../Html/pie_pyecharts2.html')

效果图

6.制作观看时间区间评论统计饼图  pie_pyecharts3.py

# coding=gbk
import csv

from pyecharts import options as opts
from pyecharts.globals import ThemeType
from sympy.combinatorics import Subset
from wordcloud import WordCloud

with open('../Spiders/data.csv') as csvfile:
    reader = csv.reader(csvfile)

    data2 = [int(row[1].strip('')[0:2]) for row in reader]


    #print(data2)
print(type(data2))

#先变成集合得到seq中的所有元素,避免重复遍历
set_seq = set(data2)
list = []
for item in set_seq:
    list.append((item,data2.count(item)))  #添加元素及出现个数
list.sort()
print(type(list))
#print(list)


with open("time2.csv", "w+", newline='', encoding='utf-8') as f:
    writer = csv.writer(f, delimiter=',')
    for i in list:                # 对于每一行的,将这一行的每个元素分别写在对应的列中
        writer.writerow(i)


n = 4 #分成n组
m = int(len(list)/n)
list2 = []
for i in range(0, len(list), m):
    list2.append(list[i:i+m])

print("凌晨 : ",list2[0])
print("上午 : ",list2[1])
print("下午 : ",list2[2])
print("晚上 : ",list2[3])

with open('time2.csv') as csvfile:
    reader = csv.reader(csvfile)
    y1 = [int(row[1]) for row in reader]

    print(y1)

n =6
groups = [y1[i:i + n] for i in range(0, len(y1), n)]

print(groups)

x=['凌晨','上午','下午','晚上']
y1=[]
for y1 in groups:
    num_sum = 0
    for groups in y1:
        num_sum += groups

print(x)
print(y1)


import csv

from pyecharts import options as opts
from pyecharts.charts import Pie
from random import randint

str_name1 = '点'

num = y1
lab = x
(
    Pie(init_opts=opts.InitOpts(width='1500px',height='450px',theme=ThemeType.LIGHT))#默认900,600
        .set_global_opts(
        title_opts=opts.TitleOpts(title="扫黑风暴观看时间区间评论统计"
                                  , title_textstyle_opts=opts.TextStyleOpts(font_size=30)),
        legend_opts=opts.LegendOpts(

            pos_top="8%",  # 图例位置调整
        ),
    )
    .add(series_name='',center=[260, 270], data_pair=[(j, i) for i, j in zip(num, lab)])#饼图
   .add(series_name='',center=[1230, 270],data_pair=[(j,i) for i,j in zip(num,lab)],radius=['40%','75%'])#环图
    .add(series_name='', center=[750, 270],data_pair=[(j, i) for i, j in zip(num, lab)], rosetype='radius')#南丁格尔图
).render('../Html/pie_pyecharts3.html')


效果图

7.制作扫黑风暴主演提及占比饼图  pie_pyecharts4.py

import csv

import numpy as np
import re
import jieba
from matplotlib.pyplot import scatter
from wordcloud import WordCloud
from matplotlib import pyplot as plt
from PIL import Image

# 上面的包自己安装,不会的就百度

f = open('../Spiders/content.txt', 'r', encoding='utf-8')  # 这是数据源,也就是想生成词云的数据
words = f.read()  # 读取文件
f.close()  # 关闭文件,其实用with就好,但是懒得改了

name=["孙红雷","张艺兴","刘奕君","吴越","王志飞","刘之冰","江疏影"]

print(name)
count=[float(words.count("孙红雷")),
      float(words.count("艺兴")),
      float(words.count("刘奕君")),
      float(words.count("吴越")),
      float(words.count("王志飞")),
      float(words.count("刘之冰")),
      float(words.count("江疏影"))]
print(count)

import csv

from pyecharts import options as opts
from pyecharts.charts import Pie
from random import randint

from pyecharts.globals import ThemeType

num = count
lab = name
(
    Pie(init_opts=opts.InitOpts(width='1650px',height='450px',theme=ThemeType.LIGHT))#默认900,600
    .set_global_opts(
        title_opts=opts.TitleOpts(title="扫黑风暴主演提及占比",
                                               title_textstyle_opts=opts.TextStyleOpts(font_size=27)),legend_opts=opts.LegendOpts(

            pos_top="3%", pos_left="33%",# 图例位置调整
            ),)
    .add(series_name='',center=[280, 270], data_pair=[(j, i) for i, j in zip(num, lab)])#饼图
   .add(series_name='',center=[800, 270],data_pair=[(j,i) for i,j in zip(num,lab)],radius=['40%','75%'])#环图
    .add(series_name='', center=[1300, 270],data_pair=[(j, i) for i, j in zip(num, lab)], rosetype='radius')#南丁格尔图
).render('../Html/pie_pyecharts4.html')

效果图


8.评论内容情感分析  SnowNLP.py

import numpy as np
from snownlp import SnowNLP
import matplotlib.pyplot as plt

f = open('../Spiders/content.txt', 'r', encoding='UTF-8')
list = f.readlines()
sentimentslist = []
for i in list:
    s = SnowNLP(i)

    print(s.sentiments)
    sentimentslist.append(s.sentiments)
plt.hist(sentimentslist, bins=np.arange(0, 1, 0.01), facecolor='g')
plt.xlabel('Sentiments Probability')
plt.ylabel('Quantity')
plt.title('Analysis of Sentiments')
plt.show()

效果图(情感各分数段出现频率)SnowNLP情感分析是基于情感词典实现的,其简单的将文本分为两类,积极和消极,返回值为情绪的概率,也就是情感评分在[0,1]之间,越接近1,情感表现越积极,越接近0,情感表现越消极。

推荐阅读:入门: 最全的零基础学Python的问题  | 零基础学了8个月的Python  | 实战项目 |学Python就是这条捷径干货:爬取豆瓣短评,电影《后来的我们》 | 38年NBA最佳球员分析 |   从万众期待到口碑扑街!唐探3令人失望  | 笑看新倚天屠龙记 | 灯谜答题王 |用Python做个海量小姐姐素描图 |碟中谍这么火,我用机器学习做个迷你推荐系统电影趣味:弹球游戏  | 九宫格  | 漂亮的花 | 两百行Python《天天酷跑》游戏!AI: 会做诗的机器人 | 给图片上色 | 预测收入 | 碟中谍这么火,我用机器学习做个迷你推荐系统电影小工具: Pdf转Word,轻松搞定表格和水印! | 一键把html网页保存为pdf!|  再见PDF提取收费! | 用90行代码打造最强PDF转换器,word、PPT、excel、markdown、html一键转换 | 制作一款钉钉低价机票提示器! |60行代码做了一个语音壁纸切换器天天看小姐姐!|年度爆款文案1).卧槽!Pdf转Word用Python轻松搞定!2).学Python真香!我用100行代码做了个网站,帮人PS旅行图片,赚个鸡腿吃3).首播过亿,火爆全网,我分析了《乘风破浪的姐姐》,发现了这些秘密 4).80行代码!用Python做一个哆来A梦分身 5).你必须掌握的20个python代码,短小精悍,用处无穷 6).30个Python奇淫技巧集 7).我总结的80页《菜鸟学Python精选干货.pdf》,都是干货 8).再见Python!我要学Go了!2500字深度分析!9).发现一个舔狗福利!这个Python爬虫神器太爽了,自动下载妹子图片
点阅读原文,领AI全套资料!
利用Python爬虫采集某宝数据,并进行完整的数据分析! 后天就是端午节了,小编现在还没有买到合适的粽子,所以打开淘宝,搜索了1959条粽子的数据,然后进行了可视化分析,最终找到最适合入手的粽子~ 01 数据采集 淘宝网站是一个动态加载的网站,我们之前可以采用解析接口或者用selenium自动化测试工具来爬取数据,但是现在淘宝对接口进行了加密,使我们很难分析出来其中的规律,同时淘宝也对selenium进行了反爬限制,所以我们要换种思路来进行数据获取。 因为篇幅问题,数据采集的方式在这里就不在过多的讲解,有兴趣的小伙伴可以看看这篇文章用Reque 阅读详情

相关推荐

爬取豆瓣电影数据遇到的问题。

做完下面这一步之后运行出错: def parse_page(text): soup = BeautifulSoup(text ,'lxml') # lxml为解析器 liList = soup.find_all("li", attrs={"data-category":"nowplaying"}) # 根据li标签的data-category属性的值来获取相应li标签 for li in liList: print(li) 原因:get_page函数中,仍有.

xiaoxiaoyu1025的博客 1059

爬虫学习笔记-实战爬取快代理

爬取快代理网站内容 二话不说,码来!!! 完整代码如下: import requests from bs4 import BeautifulSoup import time headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'

susu4513的博客 242

Python爬虫-《平凡的荣耀》电视剧数据爬取与分析

包括电视剧《平凡的荣耀》爬虫及数据分析的Python代码、技术文档、相关分析结果图片、Excel表格等,具体详情可以参考博客https://blog.csdn.net/weixin_45087775/article/details/115799655?spm=1001.2014.3001.5501

Python爬取数据分析

1.import requests 2.from bs4 import BeautifulSoup 3.pandas 数据分析高级接口模块

m0_59485658的博客 2216

STM32H750实战:如何用CubeMX配置NAND Flash时序(附常见问题排查)

本文详细解析了STM32H750通过CubeMX配置NAND Flash时序的实战技巧,包括硬件连接、时序参数计算与优化策略,以及常见问题如RGB屏幕干扰、多片选冲突的解决方案。特别针对NAND Flash的时序配置和抗干扰设计提供了实用代码示例和优化建议,帮助开发者提升系统稳定性和性能。

weixin_29176179的博客 365

通过EMIF接口实现FPGA与DSP的高速连接(方法)

请注意,具体的连接细节和步骤可能会根据所使用的FPGA和DSP型号以及特定的应用需求而有所不同。开发DSP和FPGA上的软件,以实现数据交换和处理。根据系统的具体需求,对FPGA和DSP的接口逻辑进行优化,以减少延迟、提高数据吞吐量或降低资源消耗。它通常支持多种类型的存储器,如SRAM、DRAM、ROM等,以及通过特定的接口与FPGA连接。对于FPGA,需要编程来实现与DSP的接口逻辑,包括地址译码、数据传输、时序控制等。在连接完成后,进行详细的调试和测试,以确保数据能够在DSP和FPGA之间正确传输。

AigcFox的博客 4589

python爬虫—数据解析

1 requests库的深度应用 网页信息采集 import requests if __name__=="__main__": url="" #将参数封装到字典中 kw=input("enter a word:") param:{ 'query':kw } #UA:User-Agent(请求载体的身份标识) #UA伪装:让爬虫对应的请求载体身份标识伪装成一款浏览器 #UA伪装:将对应的User-Agent封装到一个字典中

cosmoslin的博客 4260

在AVP28335(兼容德州仪器TMS320-28335) 上实现ModbusSlaveRTU-485源码及注释。

今天先把题目先给出来, 在近两天会把源码 (含详细注释 )及部署、测试结果给出来, 希望能给大家帮助。(全免费 我有点缺德,断了别人的一个财路)。

FOOLCODE的专栏 642

python爬取数据+数据分析

推荐用Jupyter 爬取某二手车的部分数据 # 爬取二手车网站的数据 #Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库 from bs4 import BeautifulSoup # 用于网络请求 import urllib.request #操作csv文件 import csv #指定编码 import codecs #添加newline可以避免一行之后的空格,这样需要在python3环境下运行 csvfile= open(r'D:\360MoveData

niTaoTaoa的博客 1万+

Xilinx SDK调试与FPGA硬件验证全流程解析

本文详细解析了从Vivado导出硬件到Xilinx SDK进行调试与FPGA硬件验证的全流程。重点阐述了正确导出包含bitstream的硬件平台、创建合适的SDK工程、配置Debug会话以编程FPGA,并介绍了串口验证、自定义IP测试以及使用ILA进行软硬件联合调试的高级技巧,帮助开发者高效完成FPGA系统的软硬件协同开发与问题排查。

weixin_28327051的博客 311

Ren’py教程《从入门到精通》

Ren’py是什么?Ren'py是一款用于制作视觉小说、冒险游戏、galgame的游戏制作工具,被来自世界各地的数千名创作者使用。Ren'py的名字由Ren’ai和Python混合而成,而Python也是Ren'py所使用的环境语言。Ren'py可以帮助你使用文字、图像和声音来讲述在计算机和移动设备上运行的交互式故事。这些既可以是视觉小说,也可以是生活模拟游戏。易于学习的脚本语言允许 任何人都可以有效地编写大型视觉小说,而它的Python 脚本足以应对复杂的 模拟游戏。

2302_77140651的博客 1万+

Python爬取网页数据并进行基础数据整理和分析

这是我用python做的第一个project,也通过这个project感受到了python的强大,我随机找了两个包含很多数据的网页,都是关于太阳耀斑(solar flares)。我将把两个网页的数据爬取到一起进行分析和整理 该网页的网址是:https://cmsc320.github.io/files/top-50-solar-flares.html 另一个网页的网址是:http://cdaw.gsfc.nasa.gov/CME_list/radio/waves_type2.html 下面是大概这个网

weixin_44363372的博客 4894

Open Lovable 网站克隆AI工具超详细实战教程(含环境配置、排错与代码修改)

本教程面向有一定计算机基础的新手用户,提供一份全面、深入的 Open Lovable 使用指南。从开发环境搭建、API密钥获取、项目部署到网站克隆、代码下载、本地运行与二次开发,涵盖全流程细节与常见问题解决方案。通过本教程,新手可掌握如何利用AI驱动的Open Lovable工具,将任意目标网站智能复刻为结构清晰、可编辑的现代前端项目(React/Vite),实现快速原型开发与技术学习。

hy行者勇哥的博客 4964

用Python爬取了《扫黑风暴》数据,并将其可视化分析后,终于知道它为什么这么火了~

今天来跟大家分享一下从数据可视化角度看扫黑风暴~ 绪论 如何查找视频id 项目结构 制作词云图 制作最近评论数条形图与折线图 制作每小时评论条形图与折线图 制作最近评论数饼图 制作每小时评论饼图 制作观看时间区间评论统计饼图 制作扫黑风暴主演提及占比饼图 制作评论内容情感分析图 评论的时间戳转换为正常时间 评论内容读入CSV 统计一天各个时间段内的评论数 统计最近评论数 爬取评论内容 爬取评论时间 一.爬虫部分 二.数据处理部分 三.

yying333的博客 292

高级用法:LangChain 安全防护(Guardrails)

在调用开始时校验请求,可做关键词过滤、身份校验、限流等。= "human":return {}],# 使用],= "human":return {}],

Long_像风一样自由 317

Amazon SES 移出沙盒完整指南 & 高通过率模板

AWS SES沙盒模式转正式模式申请指南 申请正式模式需通过AWS审核,常见被拒原因包括邮件用途不清晰、缺少退订机制或发送量不合理。人工申诉需登录AWS Support Center提交服务限额提升请求,填写详细的公司信息、邮件用途及合规措施。 高通过率申诉模板需包含: 公司信息:名称、网址及与AWS的合作情况。 邮件规范:明确类型(交易/营销)、退订链接及退信处理机制。 发送计划:合理预估发送量,确保合规。 关键点:真实信息、用途清晰、退订机制完善、发送量合理。首次被拒可修改后重新提交。

xianyinsuifeng的博客 329

用 Python 爬取了《扫黑风暴》数据,并将其可视化分析后,终于知道它为什么这么火了~...

来源:志斌的Python笔记今天来跟大家分享一下从数据可视化角度看扫黑风暴~绪论如何查找视频id项目结构制作词云图制作最近评论数条形图与折线图制作每小时评论条形图与折线图制作最近评论数饼图...

Python数据之道 528

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

用Python爬取《扫黑风暴》数据,并将其可视化分析,终于知道它为什么这么火了~...

大家好,我是志斌~今天来跟大家分享一下从数据可视化角度看扫黑风暴~绪论如何查找视频id项目结构制作词云图制作最近评论数条形图与折线图制作每小时评论条形图与折线图制作最近评论数饼图制作每小时...

sinat_32849897的博客 516

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

爬取了《扫黑风暴》数据,并将其可视化分析后,终于知道它为什么这么火了~...

点击上方 "大数据肌肉猿"关注,星标一起成长后台回复【加群】,进入高质量学习交流群2021年大数据肌肉猿公众号奖励制度大家好,我是峰哥~今天来跟大家分享一下从数据可视化角...

a934079371的博客 1583

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

又一个Python数据分析学习利器!

大家好,我是今天推荐一个我的在学习python路上结识的好朋友:志斌。志斌是一名研究生,目前研究的是数据分析和智慧水利方向,他在大四的时候自学Python,并且将他在学习Python过程中...

weixin_43373042的博客 344

Python网络爬虫与信息提取笔记08-实例2:淘宝商品比价定向爬虫

Python网络爬虫与信息提取笔记01-Requests库入门 Python网络爬虫与信息提取笔记02-网络爬虫之“盗亦有道” Python网络爬虫与信息提取笔记03-Requests库网络爬虫实战(5个实例) Python网络爬虫与信息提取笔记04-Beautiful Soup库入门 Python网络爬虫与信息提取笔记05-信息组织与提取方法 Python网络爬虫与信息提取笔记06-实...

MARS_098的博客 1107

python数据分析实例:利用爬虫获取数据

我们在工作中用到网络上发布的各种信息,如果用搜索引擎查找并整理,需要花费大量时间,现在python能够帮助我们,使用爬虫技术,提高数据查找和整理的效率。我们来找一个爬虫的案例——抓取求职招聘类网站中的数据。使用环境:win10+python3+Juypter Notebook。

weixin_55154866的博客 1735

python网页爬虫+简单的数据分析

python网页爬虫+简单数据分析 1.我们今天爬取的目标网站是:http://pm25.in/ 2.需要爬取的目标数据是:该网站所有城市的空气质量数据(主要包括AQI、PM2.5/1h、PM10/1h、CO/1h、NO2/1h、O3/1h、O3/8h、SO2/1h)。 3. 我们的最终目标是:将这些数据爬取出来,并写入到.csv/.xlsx文件中,最后通过读取.csv/.xlsx文件的数据,做一下简单的数据分析。 使用的工具是Spyder(ps:个人觉得Spyder要PyCharm好使) 一、数据爬取 这

N2O_666的博客 4733

【MOOC】Python网络爬虫与信息提取-北京理工大学-part 3

【第三周】网络爬虫之实战一、Re(正则表达式)库入门1.正则表达式的概念正则表达式是什么正则表达式是用来简洁表达一组字符串的表达式。 使用正则表达式的优势就是:简洁、一行胜千言 一行就是特征(模式)例1:代表一组字符串: 例2:代表一组(无穷个)字符串: 例3:代表一组具有某种特点但是枚举起来很繁琐的字符串: 简单来说: 正则表达式是用来简洁表达一组字符串的表达式 正则表达式是一

linzch3的博客 7851

Python爬取岗位数据并分析

学Python也将近大半年了,最终也是为了能够找到一个待遇好点的,薪资高一点的工作,使得自己以后不愁吃穿,过点体面的生活。那想应聘Python岗位应该如何选择,其有何要求,薪资怎么样,这些都是我们会去关注的问题。 我们在这里选择对前程无忧上关于Python的工作岗位进行抓取。本来是想去抓上万条数据的,可是点击Python关键字搜索后的25页左右,发现招聘岗位并无python关键词,只是在点击进去的...

qq_42293758的博客 1万+

Linux入门攻坚——93、NoSQL数据库概览及MongoDB数据库入门

每个外模式都对应一个全局模式的映射规则,当全局模式发生变更(比如新增业务表、调整字段类型、修改表关联关系)时,只需要修改这个映像的映射规则,上层用户使用的外模式完全不需要改动,基于外模式开发的应用程序也无需任何修改,就可以正常运行。关系模型中,实体以及关系都是以二维表形式表示。NoSQL的兴起,是因大数据与分布式系统而产生的,其是借助于分布式技术来应对大数据时代的数据存储与处理的技术,因为在大数据时代,大数据的4V特征,导致关系型数据库在应对大数据时能力上有点捉襟见肘,因而催生了NoSQL的兴起。

kaoa000的专栏——非淡泊无以明志,非宁静无以致远 277
上一篇: 最新!7月份火爆Github的热门Python项目
下一篇: 爷青回!AI把《灌篮高手》角色真人化,最帅的居然不是流川枫?
菜鸟学Python
博客等级 码龄9年 8082粉丝 571原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值