可以在原有基础上 再简化一下这个代码吗 不要修改相关代码的名称之类的 哦可以删除多余的注释部分 保留关键的环节点就行
import requests # 导入requests库，用于发送HTTP请求
from bs4
import BeautifulSoup # 导入BeautifulSoup库，用于解析HTML页面
import csv # 导入csv库，用于处理CSV文件
from tqdm
import tqdm # 导入tqdm库，用于显示进度条
import re # 导入re库，用于正则表达式操作
import os # 导入os库，用于操作系统相关功能，如文件和目录操作
import random # 导入random库，用于生成随机数
import time # 导入time库，用于处理时间相关操作
from jsonpath_ng
import parse # 导入
jsonpath_ng库的parse函数，用于解析
JSONPath表达式
# 定义一个函数，用于发送HTTP请求获取页面内容
def get_page(url, headers):
try:
# 发送GET请求到指定的URL，并携带请求头信息
response = requests
.get(url, headers=headers)
# 设置响应的编码为gbk，因为当当网使用gbk编码
response
.encoding = "gbk"
# 检查请求是否成功，如果失败会抛出异常
response
.raise_for_status()
# 返回响应的文本内容
return response
.text
except requests
.exceptions
.RequestException as e:
# 如果请求过程中出现异常，打印错误信息
print(f"请求失败: {e}")
# 返回空字符串
return ""
# 定义一个函数，用于解析书籍榜单页面，提取书籍信息并保存到CSV
def get_
book_
list_data(html):
book_ids = [] # 初始化一个空列表，用于存储提取到的书籍ID
# 使用BeautifulSoup解析HTML内容
soup = BeautifulSoup(html, "html
.parser")
# 查找书籍列表的ul元素
ul = soup
.find("ul", class_="bang_
list clearfix bang_
list_mode")
if not ul:
# 如果未找到书籍列表的ul元素，打印提示信息
print("未找到书籍列表，请检查页面结构是否变化")
# 返回空列表
return
book_ids
# 遍历所有li元素(每本书)
li_
list = ul
.find_all("li")
for li in li_
list: # 对li_
list列表中的每个li元素进行遍历
try:
# 提取排名信息
rank_div = li
.find("div", class_="
list_num red") or li
.find("div", class_="
list_num")
rank = rank_div
.get_text()
.strip("
.") # 获取排名文本并去除末尾的点号
# 提取书籍ID
book_link = li
.find("div", class_="name")
.a["href"]
book_id =
book_link
.split('/')[-1]
.split('
.')[0] # 从链接中提取书籍ID
# 提取书名
book_name = li
.find("div", class_="name")
.a["title"]
# 提取评论数量
content = li
.find("div", class_="star")
.a
.get_text()
.strip("条评论")
# 提取推荐指数
recommend = li
.find("span", class_="tuijian")
.get_text()
.strip("推荐")
# 提取作者、出版社和出版时间
publisher_info = li
.find_all("div", class_="publisher_info")
author = publisher_info[0]
.a["title"] if publisher_info[0]
.a else None # 如果有作者信息则提取，否则为None
publish_time = publisher_info[1]
.span
.get_text()
press = publisher_info[1]
.a
.get_text()
# 提取价格信息
original_price = li
.find("span", class_="price_r")
.get_text()
.strip("¥")
now_price = li
.find("span", class_="price_n")
.get_text()
.strip("¥")
discount = li
.find("span", class_="price_s")
.get_text()
.strip("折")
# 组织数据
data = [rank,
book_id,
book_name, author, publish_time, press,
original_price, now_price, discount, content,
recommend]
# 写入CSV文件
with open("data
.csv", "a", encoding="utf-8", newline="") as csv_file:
csv_writer = csv
.writer(csv_file) # 修改变量名
csv_writer
.writerow(data) # 将数据写入CSV文件的一行
# 收集有效书籍ID
if
book_id != "未知ID":
book_ids
.append(
book_id) # 如果书籍ID有效，则添加到
book_ids列表中
except Exception as e:
# 如果解析书籍信息时出现异常，打印错误信息
print(f"解析书籍信息时出错: {e}")
continue # 跳过当前循环，继续处理下一个li元素
return
book_ids # 返回提取到的书籍ID列表
# 定义一个函数，用于从CSV文件中读取前N个书籍ID
def get_top_
book_ids(limit=10):
book_ids = [] # 初始化一个空列表，用于存储书籍ID
try:
with open("data
.csv", "r", encoding="utf-8") as data_file:
reader = csv
.reader(data_file)
next(reader) # 跳过CSV文件的表头
for i, row in enumerate(reader): # 遍历CSV文件的每一行
if i >= limit:
break # 如果已经获取了指定数量的书籍ID，跳出循环
book_id = row[1]
if
book_id and
book_id != "未知ID":
book_ids
.append(
book_id) # 如果书籍ID有效，则添加到
book_ids列表中
except Exception as e:
# 如果读取书籍ID时出现异常，打印错误信息
print(f"读取书籍ID失败: {e}")
return
book_ids # 返回书籍ID列表
# 定义一个函数，用于爬取指定书籍的评论并保存到CSV文件
def crawl_
book_reviews(pages,
book_id, reviews_dir):
csv_file = os
.path
.join(reviews_dir, f'当当网商品_{
book_id}_评价
.csv') # 构建评论文件的完整路径
# 创建CSV文件并写入表头
with open(csv_file, 'w', encoding='utf-8-sig', newline='') as review_file:
c_writer = csv
.DictWriter(review_file, fieldnames=['用户名', '评论内容'])
c_writer
.writeheader() # 写入CSV文件的表头
for i in range(pages):
page = i + 1 # 从第1页到指定的页数进行遍历
# 使用传入的书籍ID构建URL
url = f'http://product
.dangdang
.com/
index.php?r=comment%2F
list&productId={
book_id}&categoryPath=58
.65
.03
.03
.00
.00&mainProductId={
book_id}&mediumId=21&page
Index={page}&sortType=1&filterType=1&isSystem=1&tagId=0&tagFilterCount=0&template=cloth'
headers = {
'User-Agent': 'Mozilla/5
.0 (Windows NT 10
.0; Win64; x64) AppleWebKit/537
.36 (KHTML, like Gecko) Chrome/88
.0
.4324
.190 Safari/537
.36',
'Referer': f'http://product
.dangdang
.com/{
book_id}
.html',
'Cookie': '
from=460-5-biaoti; order_follow_source=P-460-5-bi%7C%231%7C%23www
.baidu
.com%252Fother
.php%253Fsc
.060000jRtGgkBd47ECAxHUxBlqwLkfB
Jsl8lSLtmm9Zl27Qa_kZyOm2Qg_lyRgkRd4vKD9uWt%7C%230-%7C-; ddscreen=2; __permanent_id=20210304204636997189494350346254347; __visit_id=20210304204637001245338343220621735; __out_refer=1614861997%7C!%7Cwww
.baidu
.com%7C!%7C%25E5%25BD%2593%25E5%25BD%2591%25E7%25BD%2591; __ddc_15d_f=1614861997%7C!%7C000000000000000000000000000000000000000000000000000000000000000_utm_brand_id%3D11106; dest_area=country_id%3D9000%26province_id%3D111%26city_id%3D0%26district_id%3D0%26town_id%3D0; pos_0_end=1614862009963; __ddc_1d=1614862062%7C!%7C_utm_brand_id%3D11106; __ddc_24h=1614862062%7C!%7C_utm_brand_id%3D11106; __ddc_15d=1614862062%7C!%7C_utm_brand_id%3D11106; pos_9_end=1614862078563; ad_ids=4343831%2C3554365%7C%233%2C2; secret_key=f097eea219c17c155499399cb471dd5a; pos_1_start=1614863547245; pos_1_end=1614863547264; __rpm=%7Cp_23665180
.029
..1614863548625; __trace_id=20210304211706253212636290464425201'
}
try:
# 发送请求获取
JSON数据
response = requests
.get(url, headers=headers)
response
.raise_for_status() # 检查请求是否成功
py_data = response
.json() # 将响应内容解析为
JSON格式
except Exception as e:
print(f"第 {page} 页请求失败: {e}")
continue
try:
# 使用
jsonpath提取HTML内容
jsonpath_expr = parse('$
..html')
matches = [match
.value for match in
jsonpath_expr
.find(py_data)] # 使用列表推导式提取匹配的HTML内容
if matches:
html_data = matches[0]
else:
print(f"第 {page} 页未找到 HTML 数据") # 如果未找到HTML数据，打印提示信息
continue
# 使用正则表达式提取评论信息
comments = re
.findall(r'<div class="describe_detail">\s*<span>(
.*?)</span>\s*</div>', html_data)
nicknames = re
.findall(r'alt="(
.*?)"', html_data)
# 确保昵称和评论数量匹配
min_length = min(len(comments), len(nicknames))
# 写入评论数据
if min_length > 0: # 确保有有效数据
with open(csv_file, 'a', encoding='utf-8-sig', newline='') as pinglun_f:
pinglun_writer = csv
.DictWriter(pinglun_f, fieldnames=['用户名', '评论内容'])
for idx in range(min_length):
if nicknames[idx]
.strip() and comments[idx]
.strip():
pinglun_writer
.writerow({
'用户名': nicknames[idx],
'评论内容': comments[idx]
})
print(f"书籍ID {
book_id} 的第 {page} 页完成，添加了 {min_length} 条评论")
else:
print(f"书籍ID {
book_id} 的第 {page} 页没有找到任何评论")
time
.sleep(random
.uniform(0
.8, 2
.6)) # 随机延迟避免被封
except Exception as e: # 如果处理页面时出现异常，打印错误信息
print(f"第 {page} 页处理失败: {e}")
continue # 跳过当前循环，继续处理下一页
# 定义一个函数，用于创建评论文件存储目录
def create_reviews_directory():
reviews_dir = "
book_reviews" # 定义评论文件存储目录的名称
try:
if not os
.path
.exists(reviews_dir):
os
.makedirs(reviews_dir) # 如果目录不存在，则创建目录
print(f"已创建评论文件夹: {reviews_dir}")
return reviews_dir # 返回目录路径
except Exception as e:
# 如果创建目录时出现异常，打印错误信息
print(f"创建文件夹失败: {e}")
return None # 返回None
# 定义一个函数，用于显示主菜单并处理用户选择
def main_menu():
while True: # 进入无限循环，直到用户选择退出
print("\n=== 当当网书籍数据分析系统 ===")
print("1
. 爬取书籍榜单数据")
print("2
. 退出系统")
choice = input("请选择操作(1-2): ") # 获取用户输入的选择
if choice == "1":
# 爬取书籍榜单数据
headers = {
"User-Agent": "Mozilla/5
.0 (Windows NT 6
.1; Win64; x64) AppleWebKit/537
.36 (KHTML, like Gecko) Chrome/109
.0
.0
.0 Safari/537
.36 Edg/109
.0
.1518
.78"
}
# 创建并写入榜单数据CSV表头
with open("data
.csv", "w", encoding="utf-8", newline="") as bangdan_f:
head = ["排名", "书籍ID", "书名", "作者", "出版时间", "出版社",
"原价", "现价", "打折", "评论", "推荐"]
bangdan_writer = csv
.writer(bangdan_f)
bangdan_writer
.writerow(head) # 写入CSV文件的表头
# 创建评论文件存储目录
reviews_dir = create_reviews_directory()
if not reviews_dir:
# 如果无法创建评论文件夹，打印提示信息并继续循环
print("无法创建评论文件夹，程序终止")
continue
# 爬取书籍榜单数据
print("开始爬取书籍榜单数据
...")
all_
book_ids = [] # 初始化一个空列表，用于存储所有书籍ID
for i in tqdm(range(1, 26)): # 从第1页到第25页进行遍历
url = f"http://bang
.dangdang
.com/
books/bestsellers/01
.00
.00
.00
.00
.00-recent30-0-0-1-{i}"
html = get_page(url, headers) # 调用get_page函数获取页面内容
if html:
book_ids = get_
book_
list_data(html) # 调用get_
book_
list_data函数提取书籍信息
all_
book_ids
.extend(
book_ids) # 将提取到的书籍ID添加到all_
book_ids列表中
time
.sleep(random
.uniform(0
.8, 2
.6)) # 随机延迟
print(f"书籍榜单数据爬取完成，共获取 {len(all_
book_ids)} 本书籍信息")
# 获取前10本热门书籍ID
top_
book_ids = get_top_
book_ids(10) # 调用get_top_
book_ids函数获取前10本热门书籍ID
if not top_
book_ids:
# 如果未找到有效的书籍ID，打印提示信息
print("未找到有效的书籍ID，请检查data
.csv文件")
else:
print(f"准备爬取以下书籍的评论：{top_
book_ids}")
pages = int(input('请输入要爬取的评论页数(每本书): ')) # 获取用户输入的评论页数
# 爬取评论数据
for
book_id in top_
book_ids: # 遍历前10本热门书籍ID
print(f"\n开始爬取书籍ID {
book_id} 的评论
...")
crawl_
book_reviews(pages,
book_id, reviews_dir) # 调用crawl_
book_reviews函数爬取评论数据
print("\n所有书籍评论爬取完成！")
print("榜单数据已保存到 data
.csv")
print(f"各书籍评论已分别保存到 {reviews_dir} 文件夹中")
elif choice == "2":
print("感谢使用，再见！")
break
else:
print("无效的选择，请重新输入") # 如果用户输入的选择无效，打印提示信息
if __name__ == "__main__": #检查脚本是否作为主程序运行
# 初始化 CSV 文件：如果 data
.csv 文件不存在，则创建该文件并写入表头
if not os
.path
.exists("data
.csv"):
with open("data
.csv", "w", encoding="utf-8", newline="") as f:
writer = csv
.writer(f)
writer
.writerow(["排名", "书籍ID", "书名", "作者", "出版时间", "出版社",
"原价", "现价", "打折", "评论", "推荐"]) # 写入CSV文件的表头
create_reviews_directory() # 调用create_reviews_directory函数创建评论文件存储目录
# 启动主菜单
main_menu() # 调用main_menu函数显示主菜单并处理用户选择
博客推荐了一系列C语言相关书籍。包括适合初学者的《C Programming: A Modern Approach》等，参考书籍如《C : A Reference Manual》，还有涉及高级主题的《C Traps and Pitfalls》等，涵盖了从基础入门到深入探索的不同阶段。
扫一扫
470
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
