- # -*- coding: utf-8 -*- #有这个输入中文才不会乱码
- import string, urllib2
- #定义百度函数
- def baidu_tieba(url,begin_page,end_page):
- for i in range(begin_page, end_page+1):
- sName = string.zfill(i,5) + '.html'#自动填充成六位的文件名,i=1时,用0填充到5位,00001
- print '正在下载第' + str(i) + '个网页,并将其存储为' + sName + '......'
- f = open(sName,'w+')
- m = urllib2.urlopen(url + str(i)).read()
- f.write(m)
- f.close()
- #-------- 在这里输入参数 ------------------
- # 这个是山东大学的百度贴吧中某一个帖子的地址
- #bdurl = 'http://tieba.baidu.com/p/2296017831?pn='
- #iPostBegin = 1
- #iPostEnd = 10
- bdurl = str(raw_input(u'请输入贴吧的地址,去掉pn=后面的数字:\n'))
- begin_page = int(raw_input(u'请输入开始的页数:\n'))
- end_page = int(raw_input(u'请输入终点的页数:\n'))
- #-------- 在这里输入参数 ------------------
- #调用
- baidu_tieba(bdurl,begin_page,end_page)
相关推荐
百度贴吧 爬虫 python
百度贴吧的爬虫制作和糗百的爬虫制作原理基本相同,都是通过查看源码扣出关键数据,然后将其存储到本地txt文件。 项目内容: 用Python写的百度贴吧的网络爬虫。 使用方法: 新建一个BugBaidu.py文件,然后将代码复制到里面后,双击运行。 程序功能: 将贴吧中楼主发布的内容打包txt存储到本地。 http://blog.youkuaiyun.com/wxg694175346/article/details/8934726
java web开发的文章编辑功能实现2021.12.5
实现思路: 新建文章编辑页面,作为前端的编辑文章页面 新建ArticleEditServlet,作为在前端点击文章编辑页面时,把文章的初始内容拿到,以便进行更新 新建ArticleUpdateServlet,作为编辑好文章后,把编辑的内容更新到后端 1.新建articleEdit.jsp页面, 文章编辑页面应该和文章添加页面的样式一致,但是页面中存在要修改的文本 所以jsp页面可以照搬articleAdd.jsp页面,但是要存在一个title初始值和content初始值 <label
Transformer模型详解(图解最完整版)
Transformer由论文提出,现在是谷歌云TPU推荐的参考模型。论文相关的Tensorflow的代码可以从GitHub获取,其作为Tensor2Tensor包的一部分。哈佛的NLP团队也实现了一个基于PyTorch的版本,并注释该论文。在本文中,我们将试图把模型简化一点,并逐一介绍里面的核心概念,希望让普通读者也能轻易理解。Transformer 与 RNN 不同,可以比较好地并行训练。
java 编辑文档的制作
今天学习了Java编辑文档的制作,再次总结一些。 一下是编辑java文档,然后就是编译和运行,编译是javadoc -d Tool -author -version ArrayTool.java /** 这是一个可以对数组进行操作的工具类,该类提供了获取最值,排序等功能。//这块一般是工具类的说明文档。 @author 勇哥 //作者 @
Simulink Test Sequence实战:5步搞定复杂逻辑测试(附Excel模板)
本文详细介绍了如何利用Simulink Test Sequence模块高效完成复杂逻辑测试。通过对比传统Excel方法的不足,阐述了Test Sequence以流程图和自然语言描述测试场景的优势,并提供了从环境搭建、逻辑构建到与Test Manager集成、利用Excel模板进行数据驱动的完整5步实战指南,帮助工程师将复杂的状态机或逻辑流测试从繁琐的‘体力活’转变为高效的‘技术活’。
实战指南 | 利用TSMaster的C小程序实时监控DBC报文发送周期
本文提供了一份利用TSMaster的C小程序实时监控DBC报文发送周期的实战指南。通过创建用户变量、编写C小程序核心逻辑并关联图形模块,工程师可以直观地可视化关键报文(如ID 0x64)的发送间隔,从而快速发现周期异常,提升汽车电子开发和测试中总线问题定位的效率与实时性。
最适合Java开发者的一本书和一软件
一书-《Java编程思想》 一软件-IntelliJ IDEA Java自学是否可以成功,答案显而易见,可以。 自学Java关键看自己是否有毅力、是否有恒心。 自学Java 自学Java不是把自己封闭在屋子里闭门造车,自学Java包括一个核心的部分就是自我目标实现能力。 自学流程 自学最重要的是心态和毅力,如果毅力不够坚定自学很难坚持下来,自学是孤独寂寞的,同时也是快乐...
2024最新版:MacOS Sonoma系统下CocoaPods安装全攻略(解决Ruby版本冲突)
本文详细介绍了在MacOS Sonoma系统下安装CocoaPods的全过程,重点解决Ruby版本冲突问题。通过HomeBrew安装最新Ruby版本,配置环境变量,并正确安装CocoaPods,帮助iOS开发者顺利管理项目依赖。文章还提供了常见问题的解决方案和优化配置建议,确保开发环境的稳定性和高效性。
我是一只百度贴吧的小爬虫
总体功能:查看特定帖子楼主的发言(不包含图片)前段时间大概看了python的语法,但是确实第一次用python来写东西。很久之前就想学python,学爬虫了,现在终于开始了!谢了自己的第一个爬虫,很开心O(∩_∩)O 觉得学东西兴趣很重要,爬虫真的好玩!整个功能的实现含有两个类,一个是工具类Tool,另一个是百度贴吧的爬虫类BaiduTieba,提取网页的内容主要还是正则表达式。代码如下:# -*-
SQL Prompt 9.0插件突然无法使用解决办法(附防联网激活)多图+文字
可能由于Redgate公司最近抓盗版抓得严,导致激活后的SQL Prompt联网后突然无法使用,无论卸载重装都没办法继续使用,本人同时使用SQL Assistant和SQL Prompt,我喜欢SQL Assistant代码提示功能,而SQL Prompt我喜欢将查询结果复制后可以直接生产插入脚本,这是最爽的一件事,即便对表有多么熟悉,没有这些插件,几行语法都要敲大半天,目前本人已经离不开这两个插...
「UG/NX」BlockUI 控件集合目录大纲
Block UI Styler 模块设计对话框是官方推荐使用的对话框制作方法,它能够与NX自身风格相统一,在实际开发中经常使用。文字内容包含:NX所有控件介绍的链接、内部控件调用的基础介绍、官方案例查看路径、控件的特殊用法篇链接、番外篇链接。
一个简单的百度贴吧的小爬虫
操作:输入带分页的地址,去掉最后面的数字,设置一下起始页数和终点页数。#—---—--- 在这里输入参数 --—-—------—---———#——--———— 在这里输入参数 —-———--———---—————# 功能:下载对应页码内的所有页面并存储为html文件.’请输入贴吧的地址,去掉pn=后面的数字:\n'’.html'#自动填充成六位的文件名。# 这个是百度贴吧中某一个帖子的地址。# 程序:百度贴吧爬虫。’请输入开始的页数:\n’’请输入终点的页数:\n’# 版本:0.1。
在 MATLAB/Simulink 中构建一个卫星间激光通信链路的完整仿真系统
摘要: 本文通过Simulink详细演示了卫星间激光通信系统的建模过程,重点分析其在10Gbps高速率、2000km距离下的性能。系统设计涵盖PAM-4调制、自由空间信道建模(路径损耗、指向误差、多普勒效应)、APD探测及链路预算计算,并给出典型场景下18.5dB SNR、1e-9误码率的仿真结果。针对激光通信的μrad级指向精度挑战,提出AI辅助跟踪、混合RF/激光等优化策略,为未来太空高速组网提供可扩展的仿真框架。所需工具箱包括Communications Toolbox和Aerospace Toolb
爬取百度贴吧图片的小爬虫
#本来想要爬取百度图片的图片,但是发现那些图片都是js加载的,具体怎么爬取现在还不能搞清。。。。,所以就选择了百度贴吧里面的图片 #!/usr/bin/python #coding: utf-8 # # name: download images from baiduTieba # #author: Hacker_MJW # #date: 2014-02-15 #...
最详细的 SAP ABAP Web Service 创建和消费步骤讲解
本文原版发表于 SAP 官方社区,当时用的英文版写作,标题为:Step by step to create, consume and trace web service in ABAP system https://blogs.sap.com/2014/05/20/step-by-step-to-create-consume-and-trace-web-service-in-abap-system/ 总共阅读量超过 18 万。 How to create web service provider in A
计算机控制技术及应用
《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。
简单的爬去百度贴吧小爬虫讲解
# -*- coding: utf-8 -*- import urllib2, string def baidu_tieba(url, begin_page, end_page): for i in range(begin_page, end_page+1): sName = string.zfill(i,5)+'.html'#返回一个六位数字的html文件
汉书HE8,好用的汇编代码编写工具
汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大
抓取百度贴吧python小爬虫 (2015最新版)
网上好多抓取贴吧的小爬虫都失效了,原因是百度贴吧的编码格式变了,或者是html代码变了,像这种简单的读取源代码的爬虫,只要网页源代码改变之后就得重新修改。 请诸位大牛指点。# -*- coding:utf8 -*- """ 程序就是读取网页的源代码,如果想获取相应的内容就找到其特定的格式,再利用正则表达式来获取。 """ import string import urllib2 import r
假人有限元模型
假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用
蓝牙模块HM-10手册
蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。
python3.4 百度贴吧小爬虫
zhuaimport string,urllib.request def cookie(get_page,begin,end): for i in range(begin,end+1): sname = 'f:/test/' + '网页' + str(i).zfill(3) + '.html' print ('正在下载第' + str(i) + '个页面
我是一仅仅百度贴吧的小爬虫
整体功能:查看特定帖子楼主的发言(不包括图片) 前段时间大概看了python的语法,可是确实第一次用python来写东西。非常久之前就想学python。学爬虫了。如今最终開始了!谢了自己的第一个爬虫,非常开心O(∩_∩)O 认为学东西兴趣非常重要。爬虫真的好玩! 整个功能的实现含有两个类,一个是工具类Tool,还有一个是百度贴吧的爬虫类BaiduTieba,提取网页的内容主...
Python 爬虫学习 | 百度贴吧小爬虫
本文介绍了一个Python爬虫程序,用于抓取百度贴吧内容。程序包含两个主要类:ContentTool用于处理HTML内容,BaiduTieba实现贴吧爬取功能。程序通过正则表达式匹配页面元素,提取帖子标题、页码和内容,并保存为文本文件。作者建议改进人机交互功能,并指出异常处理部分尚未充分测试。该爬虫适合学习网络数据抓取技术,但需要注意可能存在的异常处理问题。
python入门,自制小爬虫获得百度贴吧内容
最近开始接触python,光学习语法感觉有些犯困.既然是脚本语言,还是制作一些工具好一些,而有关python,最出名的大概就是爬虫了.去网上找了一些例子,最后自己完成了一个小爬虫. 环境 : python 2.7 需求 : 获取某个帖子中的发帖内容,组合成一个网页 制作简单爬虫不需要额外下载模块,只需要导入几个自带模块就可以# -*- coding: utf-8 -*- import urllib2
网络爬虫(四):一个简单的百度贴吧的小爬虫
# -*- coding: utf-8 -*- #--------------------------------------- # 程序:百度贴吧爬虫 # 版本:0.1 # 作者:why # 日期:2013-05-14 # 语言:Python 2.7 # 操作:输入带分页的地址,去掉最后面的数字,设置一下起始页数和终点页数。 # 功能:下载对应页码内的...
[Python]网络爬虫(六):一个简单的百度贴吧的小爬虫
[python] view plaincopy # -*- coding: utf-8 -*- #--------------------------------------- # 程序:百度贴吧爬虫 # 版本:0.1 # 作者:why # 日期:2013-05-14 # 语言:Python 2.7
1392



被折叠的 条评论
为什么被折叠?



