一个小项目的诞生全过程

最新推荐文章于 2023-06-29 16:03:43 发布

lf14

最新推荐文章于 2023-06-29 16:03:43 发布

阅读量533

点赞数

本文介绍了一个简单的豆瓣电影爬虫项目实现过程，包括使用Git进行版本管理、代码部署到GitHub，以及利用Python爬取电影信息并存储到MySQL数据库的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

下面是一个小爬虫的整个诞生过程

from:http://blog.youkuaiyun.com/ali197294332/article/details/51584767

step 1

在本地使用Git管理工具：

[python]view plaincopy 
   
 mkdir Douban_Movie#创建并进入该目录下  
 git init#初始化  
 vim readme.txt#在本文件中写入相关的必要信息  
 git add readme.txt#添加  
 git commit -m ‘add comment’#提交到本地  

step 2

在github上新建一个仓库Douban_Movie后, ssh key 说明，https://help.github.com/articles/generating-an-ssh-key/

[python]view plaincopy 
   
 git remote add origin git@github.com:icheli/Douban_Moive.git#或者git remote add origin https://github.com/ichenli/Douban_Movie.git   首次交互要建立连接  
 git push -u origin master#提交到github上，下载用git pull origin master  

至此我们就知道如何将代码提交到github上了，下面我们所要做的就是编程了。

step3

在本地编写程序之后就可以提交到本地git和github的服务器上了

[python]view plaincopy 
   
 git add movie_crawler.py  
 git commit -m "this is the crawler"  
 git remote add origin git@git.com:ichenli/ZhiHu_movie.git#或者git remote add origin https://github.com/ichenli/ZhiHu_Movie.git（即github上项目的链接）  
 <pre name="code" class="python">git push -u origin master  

有关程序的部分，已经放到github上了，程序其实很简单，就是爬取了豆瓣上按类别的电影排序，爬取了其中前34个类别，例如爱情，喜剧，动画等多种类别的电影，并依次获取电影的ID，名称，上映年份，类型，片长，分数，评价人数和剧情简介。

step4

python3使用MySQL 数据库需要pymysql包，据说还可以使用mysql-connector，但是没用过，在https://pypi.python.org/pypi/PyMySQL3 下载pymysql包，cd进入目录下

[python]view plaincopy 
   
 python3 setup.py install#安装，好像需要管理员权限  

若在python3中能导入pymysql包即代表成功，成功后就可以继续编程啦！

注：程序已经上传到github上啦，https://github.com/ichenli/Douban_Movie，大家如果没有安装数据库或者不想涉及数据库，稍加修改即可运行，代码很简单。

大家有什么不懂的或者我哪儿写错了都欢迎留言！