- 博客(8)
- 问答 (8)
- 收藏
- 关注
RSS订阅原创 Scrapy抓取单张存入到数据库
'myproject.pipelines.ImageDownloaderPipeline': 1, # 确保这个在MongoPipeline之前执行，数字表示优先级，数字越小优先级越高。这样，Scrapy就会抓取图片的URL，下载图片，并将原图片URL和下载后的图片路径存储到MongoDB中。# 假设item中有一个字段叫'downloaded_image'，存储本地图片路径。IMAGES_STORE = '/path/to/store/images' # 设置图片存储的路径。
2025-03-30 23:57:26
394
原创 scrapy抓取图片多张对多张
首先，定义一个Item来存储图片的URL和下载后的路径。# items.pyimage_urls = scrapy.Field() # 图片URL列表images = scrapy.Field() # 图片文件路径列表images_local_paths = scrapy.Field() # 图片存储在本地系统上的路径。
2025-03-30 23:54:33
540
原创 爬虫之scrapy框架使用
scrapy框架是一个为了爬取网站数据，提取数据的框架，我们熟知爬虫总共有四大部分，请求、响应、解析、存储，scrapy框架都已经搭建好了。scrapy是基于twisted框架开发而来，twisted是一个流行的事件驱动的python网络框架，scrapy使用了一种非阻塞的代码实现并发的。python-3.13.0-amd64 下载。
2025-03-15 20:43:11
185
原创 服务器安装Node，安装PM2，安装定时器
1. 直接输入命令crontab -e 或者编辑文件/etc/crontab 就可以直接设置定时任务。3. 输入 0 */1 * * * /home/work/start-service.sh。service crond status //查看crontab服务状态。service crond start //启动服务。service crond stop //关闭服务。service crond restart //重启服务。4. 同时按下 ctrl+c 退出编辑模式。
2024-03-20 10:43:37
649
原创 介绍闭包及闭包的应用场景
介绍闭包及闭包的应用场景#闭包的特性1.函数嵌套函数2.函数内部可以引用外部的参数和变量3.参数和变量不会被阿吉回收机制回收#常见创建闭包的方式 就是函数内创建了函数1.设置私有变量的方法2.不适合的场景：返回闭包的函数是非常大的函数3.缺点常驻内存，会增大内存的使用量，使用不当造成内存泄漏#为什么要使用闭包1.想要得到函数内部的局部变量...
2019-07-25 21:22:55
881
原创 ES6模块/CommonJS/AMD/CMD分析对比
ES6模块/CommonJS/AMD/CMDvue和nodeJS模块规范不一样vue是通过babel编译，在代码中都是遵守ES6的规范来定义模块的nodeJS 都是遵循CoomonJS的规范来定义的模块ES6模块/CommonJS/AMD/CMD有什么区别CommonJS(node)requierJS(ADM)SeaJS(CMD)CommonJS主要用于服务器...
2019-07-25 21:17:50
970
空空如也
pdf 兼容IE 插件 引入 pdf-dist 直接报错
2021-04-07
vue大神才能解决的问题nuxt 生产环境后手机百度浏览器 返回 闪屏加载
2021-02-19
nuxtjs 打包后 css 乱码 字体 \e85a
2021-02-01
nuxtjs 打包后css乱码 字体\e85a
2021-02-01
require动态加载组件问题
2017-11-02
百度搜索结果 的字体 标题 内容的字体样式
2015-02-04
TA创建的收藏夹 TA关注的收藏夹
TA关注的人