Python使用sqlite插入数据无效的原因

最新推荐文章于 2025-01-07 15:12:06 发布

gqk289

最新推荐文章于 2025-01-07 15:12:06 发布

阅读量2.6k

点赞数

CC 4.0 BY-SA版权

分类专栏： Python

本文链接：https://blog.youkuaiyun.com/gqk289/article/details/48826183

Python 专栏收录该内容

1 篇文章

订阅专栏

本文介绍了一种常见爬虫问题的解决方案：为何爬取的数据未能成功存入SQLite数据库。通过调整代码逻辑，确保数据库连接正确并在每次插入数据后及时提交更改。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用爬虫时，将数据爬下来之后进行插入操作，但是查看数据库的时候发现并没有任何数据插入。查看被插入数据的格式和内容时机都已经被抓下来了，搜索了很久没有找到答案，最终还是在stackoverflow上面找到了答案，教训就是：

要学会用英文搜索Google！！！

要学会用stackoverflow！！！

Google大法好，stackoverflow大法好！！！

代码如下：

# -*- coding: utf-8 -*-

import urllib,urllib2,re,time,thread,sqlite3,string

class Spider_Model:

    def __init__(self):
        self.page = 1
        self.pages = []
        self.enable = False
        self.conn = None
        self.cursor = None
        
    def GetPage(self,page):
        myUrl = "http://m.byr.cn/board/ParttimeJob"+"?p="+page
        user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'   
        headers = { 'User-Agent' : user_agent }   
        req = urllib2.Request(myUrl, headers = headers)
        myResponse = urllib2.urlopen(req)
        myPage = myResponse.read()
        unicodePage = myPage.decode("utf-8")

        myItems = re.findall('<li.*?><div><a href="(.*?)">(.*?)</a>',unicodePage,re.S)
        items = []
        for item in myItems:
            if not item[0].find('class')>=0:
                items.append([item[0],item[1]])
        return items

    def LoadPage(self):
        while self.enable:
            if len(self.pages)<2:
                try:
                    myPage = self.GetPage(str(self.page))
                    self.page += 1
                    self.pages.append(myPage)
                except BaseException,e:
                    print e

                else:
                    time.sleep(1)

    def ShowPage(self,nowPage,page):
        self.conn = sqlite3.connect('123.db')
        self.cursor = self.conn.cursor()
        self.cursor.execute('create table if not exists forum_data (id INTEGER primary key UNIQUE, title varchar(20), attr varchar(20))')
        
        for items in nowPage:
            if page<=3:
                attr = items[0].split('ParttimeJob/')
                article_id = string.atoi(attr[1])
                article_title = items[1]
                article_attr = 'http://m.byr.cn/article/ParttimeJob/'+attr[1]
                self.cursor.execute("insert into forum_data (id ,title, attr) values (?, ?, ?)",(article_id, article_title, article_attr))
                self.conn.commit()
                print u'第%d页' %page,article_id, article_title, article_attr
            else:
                self.cursor.close()
                self.conn.close()
                self.enable = False
                break

    def Start(self):
        self.enable = True
        page = self.page

        print u'正在加载请稍后'
        
        thread.start_new_thread(self.LoadPage,())

        while self.enable:
            if self.pages:
                nowPage = self.pages[0]
                del self.pages[0]
                self.ShowPage(nowPage,page)
                page += 1


           



print u'请按下回车浏览今日的论坛内容：'    
raw_input(' ')    
myModel = Spider_Model()    
myModel.Start()

1、在类中的函数要使用初始化的函数中的对象时，要在前面加self.conn,self.cursor。

2、在每次插入数据后，要使用self.commit进行提交，而不是最后一并在提交，只有close是在最后一次使用。