python开发简单爬虫

最新推荐文章于 2024-08-28 03:57:02 发布

原创最新推荐文章于 2024-08-28 03:57:02 发布 · 411 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍如何使用Python开发基础爬虫，包括确定爬取目标、分析抓取策略、编写抓取代码，以及处理Python2和Python3的编码差异。在实践中，要注意关闭网络连接以避免资源占用，并将抓取数据存储到数据库中。

确定目标：哪个网站哪些网页哪部分数据

分析目标：制定抓取策略——url格式、数据格式、网页编码

编写代码：使用抓取策略结果

使用爬虫抓取

1.要注意Python2与Python3的编解码区别

    def output_html(self):
        fout = open('output.html','w',encoding='utf-8')
        fout.write("<html> ")
        fout.write("<meta charset='utf-8'>")
        fout.write("<body>")
        fout.write("<table>")
        for data in self.datas:
            fout.write("<tr>")
            fout.write("<td>%s</td>" % data['url'])
            fout.write("<td>%s</td>" % data['title'])
            fout.write("<td>%s</td>" % data['summary'])
            fout.write("</tr>") 
        fout.write("</table>")
        fout.write("</body>")
        fout.write("</html>")
        fout.close()

此为Python3编码方式

及时关闭链接否则会造成资源被占用，降低性能。

生成爬虫以后，将抓取到的数据插入到数据库中，将主键值设定为自增长插入部分字段即可

代码如下

import pymysql

# conn = pymysql.connect(host='127.0.0.1', user='root', passwd='root', db='crawler')


class htmlpymysql(object):
    
    def insert(self,url, title,summary):
        conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='root', db='crawler',charset='utf8mb4')
        cur = conn.cursor()
        cur.execute("INSERT INTO craw(url, title,summary) VALUES(%s, %s,%s)",(url, title,summary))
        conn.commit()
# print cur.description
        cur.close()
        conn.close()

数据库形式如图