python抓取内涵段子文章

最新推荐文章于 2025-09-06 16:16:54 发布

weixin_30401605

最新推荐文章于 2025-09-06 16:16:54 发布

阅读量68

点赞数

CC 4.0 BY-SA版权

文章标签： json python

原文链接：http://www.cnblogs.com/dongml/p/8673279.html

本文介绍了一个使用Python爬取内涵社区文章内容的示例代码。该脚本利用requests获取网页数据，并采用BeautifulSoup进行解析，将文章内容写入本地文件。此外，文中还涉及了线程、时间操作等技术。

# coding:utf-8
from urllib.request import urlretrieve
import threading
import requests
from bs4 import BeautifulSoup
from datetime import datetime
import pymysql
import random
import  json
import  time

number=0
def GetArticel():
    max_time = 1519404642
    data = requests.get("http://www.neihanshequ.com/joke/?is_json=1&app_name=neihanshequ_web&max_time=" + str(max_time))
    soup = BeautifulSoup(data.text, 'html5lib')
    #print(soup.select_one('body').get_text())

    global number
    jsondata=json.loads(str(soup.select_one('body').get_text()))
    articleList=jsondata['data']['data']
    f = open("article.txt", 'a',encoding='utf-8')
    for item in articleList:
       number+=1
       #print(number)

       f.write(item['group']['content']+'\n\n\n')
       print(number)
    f.close()



        # print(count)
        # print(item)


if __name__ == '__main__':

   for i in range(1,10):
    print(i)
    #GetArticel()
    #time.sleep(1)

转载于:https://www.cnblogs.com/dongml/p/8673279.html