经过几天的学习已可以写出简单的爬虫了，无聊逛贴吧就实验一下，
一、明白你的目的是什么
我只是想看一下最近贴吧小萌新讨论什么在，反应讨论内容的就是标题了，因此我们要把他们的标题爬下来，于是切到网页，最好用谷歌打开。
然后我们就要确定要抓取得对象了
此时就可以编写代码来实现抓取我们的标题了，话不多说上代码，程序员的耿直：
import requests
from bs4 import BeautifulSoup
url='http://tieba.baidu.com/f?ie=utf-8&kw=%E4%B8%AD%E5%8C%97%E5%A4%A7%E5%AD%A6&fr=search'#所要抓取的网页地址
res=requests.get(url)
res.encoding='utf-8'
soup=BeautifulSoup(res.text,'html.parser')
for i in range(1,50):
title=soup.select('.j_th_tit')
print(title)
注意代码不一定对。因为此文是补录。
作为一个立志成为优秀程序员的男人，这个代码还是要加点东西的。
就把链接就加上吧：已经熄灯了，简单说了。
还是继续审查元素，知道了超链接和标题的位置就阔以了：
上代码，
import requests
from bs4 import BeautifulSoup
from datetime import datetime
import re
import json
url='http://tieba.baidu.com/f?ie=utf-8&kw=%E4%B8%AD%E5%8C%97%E5%A4%A7%E5%AD%A6&fr=search'
res=requests.get(url)
res.encoding='utf-8'
soup=BeautifulSoup(res.text,'html.parser')
for i in range(1,50):
title=soup.select('.threadlist_title a')[i]['title']
print(title)
hurl='http://tieba.baidu.com{}'
aurl=soup.select('.threadlist_title a')[i]['href']
nurl=hurl.format(aurl)
print(nurl)这样就知道了小萌新在贴吧聊什么了，突然有一种发现别人秘密的感觉。
实例图
【新生必戳】2017中北大学新生群号＆答疑帖 http://tieba.baidu.com/p/5227470923 【新生必看】关于手机卡和校园网的通知 http://tieba.baidu.com/p/5247121043 学长学姐，我想问一下教务处在几 http://tieba.baidu.com/p/5256681391 特殊的毕业旅行 http://tieba.baidu.com/p/5211978529 互关吗互关吗互关吗 http://tieba.baidu.com/p/5257103096 学校里有没有电影院 http://tieba.baidu.com/p/5256895302 请问中北大学可以转专业吗？ http://tieba.baidu.com/p/5255295200 有麻油同湖北的萌新 http://tieba.baidu.com/p/5257335895 纠结的心理 http://tieba.baidu.com/p/5256963745 那萌新就来献丑了 http://tieba.baidu.com/p/5253516868 为什么咱们学校没有校草校花？ http://tieba.baidu.com/p/5257306898 帮朋友问一下毕业的大佬 http://tieba.baidu.com/p/5257261851 通知书以到，怎么知道自己那个班 http://tieba.baidu.com/p/5255706672 水了一天群想告诉新生们的话 http://tieba.baidu.com/p/5256225082 中北大学的软件工程的宿舍怎么样？ http://tieba.baidu.com/p/5255651926 中北大学就业协会17帖 http://tieba.baidu.com/p/5226152725 关于大学生暑期社会实践报告怎么写 http://tieba.baidu.com/p/5252685491 山西的收到通知书了吗，什么时候发 http://tieba.baidu.com/p/5256776564 长期贴 http://tieba.baidu.com/p/4820783686 新生时候加了迎新群 http://tieba.baidu.com/p/5256423098 找一个中北大学的家教 http://tieba.baidu.com/p/5257309476 中北大学1b的通知书山西的收到 http://tieba.baidu.com/p/5257131093 工银e校园注册时营销代码这一项 http://tieba.baidu.com/p/5257181535 还有什么歌给我推荐？ http://tieba.baidu.com/p/5256590955 我希望 明天 可以看到不一样的自己 http://tieba.baidu.com/p/5256599418 有没有人有教室的照片呢？ http://tieba.baidu.com/p/5257180451 半导体街舞社团2017迎新专贴 http://tieba.baidu.com/p/5224331735 晒一下山西太原刚到手 http://tieba.baidu.com/p/5255283044 求一卡通，有没有出去实习的同学 http://tieba.baidu.com/p/5256945608 各位亲爱的校友，求花花，孙春宜，咖喱咖喱。 http://tieba.baidu.com/p/5257292790 家里的猫生了一窝宝宝，两个月已 http://tieba.baidu.com/p/5254553411 萌新又来求助大佬们了(๑•ั็ http://tieba.baidu.com/p/5257181864 【交易专贴】租房分贴-------2017上半年专贴 http://tieba.baidu.com/p/4922218979 诗经中那些美腻的诗… http://tieba.baidu.com/p/5254267901 中北大学附近旅店推荐 http://tieba.baidu.com/p/5257201620 【中北大学】社团名单(2017) http://tieba.baidu.com/p/5252367778 我回答的没错吧？ http://tieba.baidu.com/p/5256857659 哪里可以用一卡通打水了？水房关 http://tieba.baidu.com/p/5257157149 【中北大学】2017年8月份综合交易贴 http://tieba.baidu.com/p/5252137331 学校的床褥必须强制购买吗？可不 http://tieba.baidu.com/p/5257028158 学哥学姐们，请问下中北大学有专 http://tieba.baidu.com/p/5257205525 一院有美艳的小哥哥吗？ http://tieba.baidu.com/p/5249478052 白话金瓶梅......少儿不宜—转载...... http://tieba.baidu.com/p/2713850140 中北漫游引力动漫社~纳~新~啦！！！！ http://tieba.baidu.com/p/5231212310 今年补考报名接受纸质报名吗 http://tieba.baidu.com/p/5257220222 求租一张一卡通到考研结束 http://tieba.baidu.com/p/5257210743 这个必须带吗？为啥没人通知啊？ http://tieba.baidu.com/p/5256917501 大英2有没有车队 http://tieba.baidu.com/p/5257203685 诸位学哥学姐这个怎么样，看起来 http://tieba.baidu.com/p/5233250008
好了就简单说这些，要睡美容觉了!
扫一扫
625
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
