- 博客(5)
- 收藏
- 关注
原创 docker安装mysql
使用docker安装mysql的命令一搜一大堆,大多都不大理想。本文档会将配置文件,数据文件,日志文件都进行映射,希望能一次性解决该安装问题。
2023-11-29 10:39:18
423
原创 借助 docker, scrapyd, scrapydweb 部署scrapy项目
借助 docker, scrapyd, scrapydweb 部署scrapy项目scrapy采集程序开发完毕,难道还命令行启动吗?既然有炫酷的scrapyd的部署服务和scrapyweb这样的可视化界面,抱着学习的态度研究一波。在docker上成功进行了部署。本机局域网的IP为192.168.xx.xx一. docker 部署 scrapyd文件准备 # 目录下的文件 # 通过docker build 制作镜像 Dockerfile # scrapyd的配置文件 scrapyd.conf
2022-05-25 16:22:34
1461
原创 xpath-helper插件安装教程
下载插件压缩包百度网盘链接: https://pan.baidu.com/s/10Vm6lAkfSUDftO-3mZ5eXwt提取码:9mxr下载完毕后,解压下载的xpath-helper.rar至xpath-helper文件夹安装xpath-helper插件打开谷歌浏览器,在导航栏中输入chrome://extensionsgoogle浏览器打开开发者模式点“加载已解压的扩展程序”,选择刚刚解压的文件夹步骤3完成后显示下图如有需要,可按如下操作将插件图片显示在工具栏重启浏览器
2021-03-25 16:51:46
849
原创 从零开始Docker部署Web服务
从零开始部署Docker部署Web服务工作中遇到了需要docker部署一个web服务,供内部调用,而自己以前没有接触过docker,自己研究学习一天搭建成功。现在自己在本地VM虚拟机上, 通过Flask做个helloworld的项目,记录下完整的操作步骤。准备工作一. 下载安装docker, 我使用的Ubuntu18.04的虚拟机# 国内daocloud一键安装命令curl -sSL https://get.daocloud.io/docker | SH二. 后期我们要拉取一些镜像,设置一个镜
2021-01-27 11:17:15
2211
3
原创 Mongo批量处理数据的思路
Mongo批量处理数据的思路mongo数据库中已经采集了2000W的数据,现在需要对每条数据进行一定的处理,如何设计处理思路?逐条处理一开始选择的定义一个状态字段 _Status, 默认等于0, 通过find_one_and_update 的方式逐一进行处理,这样处理的弊端也是很明显的:1. 逐一处理,速度较慢2. 大量的查询会占用更多的数据库资源批量处理使用mongo中的limit的方式批量获取数据,更新最后一次获取到的数据的_id,为了保证数据不被漏掉,我们对_id进行排序, 代码如下:
2021-01-15 11:26:34
771
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人