andux的专栏

MongoDB是一个开源的、高性能、非关系型数据库。它使用BSON（二进制JSON）格式存储数据，具有灵活的数据模型和可扩展性。pymongo是MongoDB官方提供的Python驱动程序，它提供了一种灵活、强大的方式与MongoDB进行交互。python开发里面也常用到MongoDB数据库，感觉类似个开放式的json格式的数据库，用键值对来存储数据，类型较少，键值对嘛，除了字符串就是数值了，就是层级可以无限套娃，以前有个野狗数据库，就是这样的，每个节点｛｝里面有个唯一的id。# 安装过程。

，做这个就简单多了，视频教程里也很简单，毕竟是入门CrawlSpider的实战小demo。这个视频教程真的做的很贴心。选择雅诗兰黛这个品牌，而且需要在其他页面，才能选择下拉菜单，看把人家聚美优品折腾的，首页都不敢放下拉菜单了~~~~聚美优品上打不开兰蔻品牌的链接啊，显示404啊。是不是爬崩溃了😄……学无止境，学到后期，不仅仅是有手就行，要做到无手自行才行吧……列表页选择5个商品，选择循环3个列表页面。数据库实体类pipelines.py。废话不多说，我忒忙……是不是感觉有手就行了？自从学习了上个案例（

爬虫如果要翻页，需要有page参数变化，有规律才好翻页继续爬下去，如果没有规律，就只能爬一次就结束了，所以爬虫要持续执行，需要找到数据加载的规律，也就是找到那个动态变化的参数，而且这个参数还是有规律的，比如每次加1，或者像豆瓣电影列表里，每次加20。爬豆瓣电影列表用MongoDB数据库进行保存数据，需要在MongoDB中创建一个数据库和表（collection）。其中参数start在变化，其他的参数都不变，这就有规律可循了。

redis可以用于分布式爬取，就是可以同时使用多个进程（多个终端）运行同一个应用，redis可以自己调度每个进程的任务列表，共同完成相关任务。settings.py文件里配置redis数据库连接，DOWNLOAD_DELAY = 1是间隔一秒再执行，网站没有反扒的时候，可以注释掉。这里需要注意，需要清空redis数据库，不然有数据它就不执行了，因为它认为已经执行过了。MongoDB数据库清空是为了看清楚数据变化。数据库实体类中的字段顺序，决定了最后存储到MongoDB数据库中的字段顺序。

跟着教程爬取京东的时候，一会爬出来，一会儿爬不出来，京东反扒挺厉害啊。跟着教程走，还是出不来结果，看着自己的代码没错啊。使用正则表达式获取当前链接中的翻页参数，就是变化的数值，让它+1，形成新的链接。多练习，多看教程，原来代码是这个意思啊。刚开始，只会照着教程抄代码，囫囵吞枣，先有个大概的了解和熟悉，现在要慢慢深入理解代码的含义了。越来越发现，pipelines里面的代码，都成固定的了，几乎不用修改，可以拿之前的直接用。17k小说网分类中小说还是挺多的，为了方便查看结果，就缩小了小说书籍的范围。

使用scrapy框架进行爬虫爬取页面内容，在settings里面可以把USER_AGENT设置好，在items里面把数据库实体类设置好，在middlewares里面把代理设置好，在pipelines里面把MongoDB数据库的写入操作写好，在app里把逻辑写好，就可以了，这样把功能分开写在对应的文件里，方便对代码进行管理。不能递归函数，需要使用回调，可以看出，p=1就是翻页的参数，如果不使用scrapy框架，那就让p+1来进行翻页，使用下一页的href是否为空来判断是不是最后一页。

在使用mongo进行业务处理中，有时需要对文档（document）中的某个数组节点进行操作，这是下面要提到的 p u l l , pull, pull,push,$set操作。到此这篇关于MongoDB对数组进行增删改查操作的文章就介绍到这了,更多相关MongoDB对数组增删改查内容请搜索脚本之家以前的文章//$表示匹配到的第一个为EX1002的对象修改掉//如果想匹配多个值，可修改为$[]rules = (# 书名列表，获取第一本书的详情页信息。

测试证书仍然可以申请一年的.那就申请这个.在部署flask的时候,不要使用80端口!使用默认的5000端口或者其他的8000端口都可以.怎么在宝塔里部署ssl呢?这样就有uwsgi.ini文件需要的application名字了.只要修改这一个地方的端口就可以了.然后重启Nginx.这个时候就可以使用https来访问flask项目了.

要加上 application = app 这样的代码，uwsgi才能找到application。端口如果选择80端口，很可能会出现80端口已占用，那就需要修改php占用80端口的配置文件了。宝塔(bt.cn)部署flask项目，发现问题还挺多。先可以用pycharm建一个空的flask项目，这样好发现问题。这个时候配置没有完成，需要到设置里，将用户权限切换到root。到这个界面就部署完了，这个界面宝塔不能退出，需要手动刷新一下。到网站栏目点击python项目，新建一个python项目。

就是如果想用flask做restful后台接口程序的，可以直接用apiflask，它直接输出的就是json格式。李辉在视频里说，为了写flask web开发2023版的书，有几个依赖包已经停更了，他让作者给他授权，他又继续更新了。惊喜的发现，flask可以用bootstrap-flask包来使用bootstrap了。李辉讲他在维护flask之余，开发了apiflask这个依托flask的框架。还有不少其他的隐藏资源，大家可以去他的主页上找找……Flask维护者：李辉，

的搜索，只能使用英文，才能搜索出电影信息，如果使用中文，是搜索不到结果的。这里就需要使用翻译，把中文电影名翻译成英文电影名。只需要在搜索路由里，将form表单传递过来的中文搜索词翻译成英文即可。如果是英文，那就让它再翻译一遍，一般是没有变化。把数字放前面，反而可以搜到，不知道翻译是咋翻译的。，而且有python的示例代码，可以直接照抄。这里使用百度翻译，百度翻译量少的话是免费的，

使用bootstrap框架的翻页组件时，记起在学习使用laravel框架的时候，只需要添加相应的功能代码，就可以直接使用翻页组件了，但缺少自定义，或者说自定义起来有点麻烦。这次手搓翻页组件、控件，主要是为了自己的需求来做的。里面容易绕圈圈的是，首页默认会有搜索词及内容，点击搜索按钮后，也是跳转到首页页面，显示搜索的内容，翻页也是在首页模板里面进行翻页。这样的路由，发现根本不起作用，起作用的还是'/'这个路由，只有使用函数url_for才能指定路由函数名称，才会执行，否则就是'/'起作用了。

Django就可以啊，或者其他python项目，pycharm识别到没有安装的包，自动会弹出安装的按钮来，超方便的。不知道flask为什么不触发。还要有一个，flask启动后，修改代码，刷新浏览器并未有任何改变，必须要重启flask项目，这是为什么啊？因为继承母版的页面是在templates目录里，以app.py里面加载的模板为出发点，来定位其他路径。免费申请api接口后，可以使用搜索关键词和电影id两种方式，搜索结果是个列表，电影id获取的是电影的详细信息。模板主要的语法就是继承母版，集成模块。

还有opencv-python这个包，引用的时候竟然是import cv2，不按套路出牌啊！为了学这个小教程，还买了个摄像头，花了好几十大洋呢，效果吗，马马虎虎，迷迷糊糊……其中url_for()这个函数很奇妙啊，有点像其他框架的route路由函数一样。

有个问题，点击刷新，可能就显示空白，图片显示不出来，不知道是不是有什么防盗防刷机制。这个demo比较简单，就是读取api中的信息，并展示出来。

如果不使用moment来进行时间的处理，那么使用now()就可以了，那就是电脑上的实时时间，显示也是，不考虑时区了。这个demo是用sqlite数据库来实现的，用了才发现，这个数据库是真方便，小demo的最佳选择，比access还轻便，数据库也非常小，就几kb，我滴个天sqlite是离线本地数据库文件，跟系统走，真的很便捷。在操作sqlite数据库时，记得使用了drop命令还是delete命令了，导致把生成的tobo表给删除了，就写不进数据库了，所以需要重新用这三个命令再生成一次数据库文件todo.db。

看了一个比较简单的flask教程，Build a Complete Website Using Flask，一共20讲，快的话一两个小时可以看完吧。html静态模板文件放在templates文件夹里面，js、css文件需要放在static文件夹里面。模板文件引用css、js的路径是../static/，感觉有点奇怪啊……这个教程讲的是做一个虚拟货币汇率的flask的小demo。