
Go lang
文章平均质量分 94
kevin-go
这个作者很懒,什么都没留下…
展开
-
实现一个go语言的简单爬虫来爬取优快云博文(一)
如何实现一个爬虫系统或则简单的小脚本?一般是定义一个入口页面,然后一个页面会有其他页面的URL,于是从当前页面获取到这些URL加入到爬虫的抓取队列中,然后进入到新页面后再递归的进行上述的操作,其实说来就跟深度遍历或广度遍历一样。 golang由于其编译速度很快,而且对并发(goroutine)的天然支持,配合chan的协程处理,可以很好地实现一个稳定高效的爬虫系统.用到的包完全不借助第三方的框原创 2015-12-21 23:47:05 · 28832 阅读 · 5 评论 -
【译文】通过Go来处理每分钟达百万的数据请求
在我们的匿名遥测和分析系统工作时,我们的目标就是能够处理来自百万终端的庞大POST请求量.Web处理器将会接受一份包含大量有效负载集合的JSON文档,这些文档需要写入到Amazon S3系统中,以便我们的缓存服务系统(map-reduce)稍后处理其数据. 传统做法是, 我们将考虑创建一个worker层架构,利用诸如:·Sidekiq·Resque·DelayedJob·Elasticbeansta翻译 2015-12-24 09:56:48 · 17560 阅读 · 0 评论