
大数据
hellostack
这个作者很懒,什么都没留下…
展开
-
superset安装
截止目前,最新的superset版本不再支持Python3.6以下。windowspython3 -m pip install supersetwindows下,先进入到 Python安装目录(或者virtualEnv的虚拟目录)下,lib\site-packages\superset\bin下#创建管理员用户名和密码 fabmanager create-admin --app sup...原创 2018-12-13 14:13:10 · 423 阅读 · 3 评论 -
Superset使用教程
Cloud-native!superset在大规模分布式环境可伸缩使用,也可在容器中使用。可兼容多种web服务器 (Gunicorn, Nginx, Apache)、多种元数据引擎(MySQL, Postgres, MariaDB, …)、多种消息队列(Redis, RabbitMQ, SQS, …)、缓存层(Memcached, Redis, …)等。可被成百上千用户并发使用。Airbnb生产...原创 2018-12-14 15:12:35 · 15783 阅读 · 0 评论 -
Redis的安装和配置、备份和恢复
Redis安装、配置1. 源码安装wget http://download.redis.io/releases/redis-4.0.10.tar.gztar xzf redis-4.0.10.tar.gzmv redis-4.0.10 /usr/local/rediscd /usr/local/redismake2. 修改配置vi redis.conf将绑定的本机给注释掉...原创 2019-03-07 21:38:32 · 438 阅读 · 0 评论 -
Elasticsearch 6.4的安装配置
Elasticsearch 6.4的安装配置安装6.4.0版本# 获取rpm包wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.1.0.rpm# 安装rpm -ivh elasticsearch-6.4.0.rpm一般是装在/usr/share/elasticsearch/下。配置设...原创 2019-03-15 14:52:40 · 653 阅读 · 0 评论 -
scrapyd+SpiderKeeper+supervisord爬虫部署与管理
本文介绍在CentOS7下部署爬虫,稳定运行爬虫,对爬虫提供Web管理。部署工具是Scrapy官方的scrapyd,Web管理程序是开源项目SpiderKeeper,最后用supervisord提供稳定运行。scrapyd和scrapyd-clientscrapyd安装配置Scrapyd是一个用来部署和运行Scrapy项目的应用,由Scrapy的开发者开发。其可以通过一个简单的Json AP...原创 2019-03-13 15:03:00 · 1297 阅读 · 6 评论 -
Flask-Admin利用动态生成类访问Mongo
Flask-Admin是基于Flask框架的,可以快速对现有数据模型进行CRUD管理。参考:系列博客flask-admin:https://www.cnblogs.com/minsons/category/1134587.html官方指南:https://flask-admin.readthedocs.io/en/latest/官方示例:https://github.com/flask-...原创 2019-04-02 15:48:46 · 1180 阅读 · 0 评论 -
Hbase表主备离线比对
HBase定义HBase 是一个高可靠、高性能、面向列、可伸缩的分布式存储系统。 HBase 利用Hadoop HDFS 作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。和传统数据库不同的是,HBase的表不用定义有哪些列(字段,Column),因为列是可以动态增加和删除的。但HBase表需要定义列族(Column Fa...原创 2019-08-08 14:24:01 · 523 阅读 · 0 评论