鬼子口音-优快云博客

原创基于 Fabric 部署分布式爬虫的思考

Python：基于 Fabric 部署分布式爬虫的思考 Fabric 本身是一款用于自动化管理，发布任务和布署应用的工具，在自动化运维中比较常见当然其他的连接工具同样优秀，比如 paramiko ，只是 fabric 封装的更好，文档更全，使用也更简单中文文档 https://fabric-chs.readthedocs.io/zh_CN/chs/ Fabric 是一个用 Pyth...

2020-01-14 23:54:03 210

<Python启发式自动化>之微信推送 Server酱关于类如消息推送或机器人管理方面微信开放文档并没有给出简单易用的 API 接口，这里使用的是 Server酱服务推送通知。 Server酱你只需要注册/登陆 Server酱平台并扫码绑定微信公众号，对，Server酱本质是一个公众号，一个可以为你推送通知信息的公众号。成功绑定后返回一个 SCKEY，相当于一个认证 KEY，用他们的话说，SCKEY 是非常重要的，所以请妥善保存，不要随便告诉别人。另外同样内容的消息一分钟只能.

2021-07-13 14:05:52 438

原创＜Python启发式自动化＞之钉钉推送

如果你希望通过钉钉接收信息通知(注意不是钉钉邮件，所有邮件操作已经在上一小节讲过) 在钉钉上设置一个群机器人，钉钉个人权限所致。如果为企业权限请详细参考 https://developers.dingtalk.com/document 添加一个自定义机器人并指定群组得到一个 Webhook 地址出于安全考虑，添加签名，即 secret 根据 https://developers.dingtalk.com/document/app/custom-robot-access?spm=ding.

2021-07-13 13:55:40 516 1

原创＜Python启发式自动化＞之Word常见功能

安装Python-docx docx 并非 Python 的标准库，属于第三方扩展，我们通过 pip 命令安装: pip install python-docx 如果因为网络或者其他原因导致 pip 无法正常安装请访问 https://pypi.org/project/python-docx/ 手动下载压缩文件并解压后安装 tar xvzf python-docx-{version}.tar.gz cd python-docx-{version} python setup.py install 快速开

2021-07-13 13:38:40 413

原创使用Iris打造一款个人博客(控制器)

Golang：使用Iris打造一款个人博客(三) 使用Iris打造一款个人博客之配置篇使用Iris打造一款个人博客之路由篇所谓的 MVC 架构，就是视图，模型和控制器视图和模型已经说过了，现在来看看控制器的实现哎我有点坚持不下去了先来看看 main主入口中的调用 package main import ( "Iris_web/controller" "Iris_web/se...

2020-01-15 00:06:54 538

原创使用 Iris 打造一款个人博客(视图路由篇)

Golang：使用Iris打造一款个人博客(二) 上一篇使用Iris打造一款个人博客之配置篇现在该来看看 Iris 的视图功能了路由模块在 server目录下新建一个routeFun目录用来存放一些常用的路由函数比如ajax请求服务，search文章的路由，还有一些before全局中间件等等参考以下代码 ajax.go package routeFunc import ( "...

2020-01-15 00:05:34 800

原创使用 Iris 打造一款个人博客(配置篇)

Golang：使用 Iris 打造一款个人博客(一) Iris 号称世界第一快的框架实际上测试对比几款高性能的 go web 框架，Iris 框架的响应速度确实优于其他框架(当然 gin 和其他框架也不赖) 在知乎和一些技术论坛里也有主张不使用 Iris 框架的文章，大概的内容是 Iris 存在不可预测的安全性问题今天不讨论这些玩意，反正我个人使用过程中并没有碰到什么安全隐患，反而中意 I...

2020-01-15 00:03:58 1039

原创 Python爬虫：关于广度优先和深度优先

广度优先和深度优先关于广度优先和深度优先，首先,不管是广度还是深度,都需要定义一个爬取的深度 crawl_deepth，深度优先比较容易实现显示递归嘛爬取的层次。所谓广度优先就是要把当前页的 link 全部爬取完毕再进行下一深度的遍历，这就要给一些队列分类一般分为待爬队列, 已爬队列, 新加队列, pop队列，首先要确保访问每个深度页是的待爬队列已经清空才获取下一页的超链接，思路嘛 ...

2020-01-15 00:02:38 669

原创 Python分词，情感分析工具 SnowNLP

Python：Python分词，情感分析工具 SnowNLP 官方源码文档 GitHub：https://github.com/isnowfy/snownlp 现在训练数据主要是针对电商服务类的评价，所以对其他的一些可能效果不是很好安装 pip install snownlp 官方实例 from snownlp import SnowNLP from snownlp import sen...

2020-01-15 00:00:27 1181

原创 Gorm 连接数据库

Golang：Gorm 连接数据库 Golang 写的，开发人员友好的 ORM 库，当然 Xorm 也非常的优秀，但是我就是不用你看气人不安装依赖 go get -u github.com/jinzhu/gorm 连接数据库 func init(){ var err error mysql_conn := fmt.Sprintf("%s:%s@(%s:%d)/%s?charset=...

2020-01-14 23:58:31 1098 1

原创 Grequests 库的使用

Golang：Grequests 库的使用 Go 语言版本的 request Go 语言内置的请求库 net/http 非常的优秀，但是在代码封装上却不尽完美对于我这种习惯于用 Python 写爬虫的人来说，如果能有像 Requests 的 Py 库的 Go 版本实现那是再好不过了所以 Grequests 就诞生了。安装 go get -u github.com/levigross/g...

2020-01-14 23:56:06 884

原创 Golang 通道，同步等待组并发爬虫

Golang：通道，同步等待组并发爬虫在Go的并发编程中有一句很经典的话：不要以共享内存的方式去通信，而要以通信的方式去共享内存。在Go语言中并不鼓励用锁保护共享状态的方式在不同的Goroutine中分享信息(以共享内存的方式去通信)。而是鼓励通过channel将共享状态或共享状态的变化在各个Goroutine之间传递（以通信的方式去共享内存），这样同样能像用锁一样保证在同一的时间只有一...

2020-01-14 23:48:24 431

weixin_40287356的博客