
大数据相关
风.foxwho
资深架构师
展开
-
Mahout 安装配置及一个简单测试
下载地址http://archive.apache.org/dist/mahout/原创 2016-11-24 16:57:05 · 5647 阅读 · 3 评论 -
Centos7 Zookeeper 安装
前言如果是开发,或者测试之类的,可以直接使用docker, 方便简单,而且还容易部署集群哦JAVA JDKhttp://blog.youkuaiyun.com/fenglailea/article/details/26006647 作者:fox.风官方下载地址http://zookeeper.apache.org/releases.html http://www.apache.org原创 2016-11-23 11:32:13 · 867 阅读 · 0 评论 -
elasticsearch同义词配置elasticsearch-analysis-dynamic-synonym
elasticsearch 5.2.1 elasticsearch-analysis-dynamic-synonym 5.1.1 看来要改改了下载地址风.fox https://github.com/bells/elasticsearch-analysis-dynamic-synonym 最新版,作者还未提供jar包,那么就要自己编译unzip elasticsearch-analysis-d原创 2017-02-24 17:20:23 · 5864 阅读 · 1 评论 -
Elasticsearch5.X 搜索引擎框架 安装配置及analysis-ik中文分词插件安装
目录http://blog.youkuaiyun.com/fenglailea/article/details/52486471老版本http://blog.youkuaiyun.com/fenglailea/article/details/52471254介绍Elasticsearch一个开源的搜索引擎框架(支持群集架构方式)JAVA版本说明必须是 java 1.8.0_73 以上 安装 Java 版本 ,根据教程下原创 2017-02-17 15:20:49 · 12696 阅读 · 8 评论 -
Logstash的logstash-input-jdbc插件mysql数据同步ElasticSearch及词库
Logstash是一款轻量级的日志搜集处理框架,可以方便的把分散的、多样化的日志搜集起来,并进行自定义的处理,然后传输到指定的位置,比如某个服务器或者文件。 http://kibana.logstash.es/content/logstash/ 风来了.foxlogstash安装http://blog.youkuaiyun.com/fenglailea/article/details/5628原创 2017-02-24 10:00:13 · 9185 阅读 · 12 评论 -
Logstash5.X 日志搜集处理框架 安装配置
0. 介绍Logstash是一款轻量级的日志搜集处理框架,可以方便的把分散的、多样化的日志搜集起来,并进行自定义的处理,然后传输到指定的位置,比如某个服务器或者文件。 http://kibana.logstash.es/content/logstash/ 风来了.fox1.下载和安装下载地址 https://www.elastic.co/downloads/logstash 目前最新版 5.原创 2017-02-22 09:01:35 · 9577 阅读 · 0 评论 -
ELKF(Elasticsearch+Logstash+ Kibana+ Filebeat) 部署
风来了.fox1.安装 Elasticsearch 和配置Elasticsearch2.4.X 搜索引擎框架 安装配置2.安装 Logstash 和配置Logstash 日志搜集处理框架 安装配置 #3.安装 Kibana 4 和配置 kibana4 分析和搜索仪表板 安装和配置 #4.安装 Filebeat 和配置 如果只监控服务器访问日志,日志格式不是很多,本Filebeat 可原创 2016-09-09 14:00:42 · 11567 阅读 · 0 评论 -
Logstash 日志搜集处理框架 安装配置
0. 介绍Logstash是一款轻量级的日志搜集处理框架,可以方便的把分散的、多样化的日志搜集起来,并进行自定义的处理,然后传输到指定的位置,比如某个服务器或者文件。 http://kibana.logstash.es/content/logstash/ 风来了.fox1.下载和安装下载地址 https://www.elastic.co/downloads/logstash 目前最新版 2.原创 2016-09-08 15:59:53 · 23660 阅读 · 1 评论 -
kibana4 分析和搜索仪表板 安装和配置
Kibana4 是 Elasticsearch 分析和搜索仪表板Elasticsearch 必须要先安装风来了.fox1.下载和安装下载地址https://www.elastic.co/downloads/kibana目前最新版本 4.6.1 这里选择 LINUX 64-BIT 即方式一 方式一:源码wget https://download.elastic.co/kibana/kibana/k原创 2016-09-08 13:26:47 · 8649 阅读 · 2 评论 -
Filebeat 日志收集器 安装和配置
Filebeat 风来了.fox1.下载和安装https://www.elastic.co/downloads/beats/filebeat目前最新版本 1.3.0 这里选择 LINUX 64-BIT 即方式一 方式一:源码wget https://download.elastic.co/beats/filebeat/filebeat-1.3.0-x86_64.tar.gztar -zxvf原创 2016-09-08 11:38:07 · 42303 阅读 · 3 评论 -
Zookeeper、Hadoop、Sqoop、Mahout、HBase整合安装
环境说明系统 CentOS 7.2 用户 root 用户 hadoop 服务器3台 IP:10.1.5.51(master),10.1.5.52(client1),10.1.5.53(client2) Zookeeper版本:3.4.9 Hadoop版本:2.7.3 Sqoop版本:1.99.7 Spark版本:2.0.2 HBase版本 :1.2.4用户设置原创 2016-11-29 12:54:04 · 1251 阅读 · 0 评论 -
Hadoop CentOS 7 安装配置
JAVA JDKhttp://blog.youkuaiyun.com/fenglailea/article/details/26006647 环境变量设置 http://blog.youkuaiyun.com/fenglailea/article/details/52457731 下载地址http://archive.apache.org/dist/hadoop/common/ 当前最新版 2.7.原创 2016-11-24 16:57:25 · 2672 阅读 · 0 评论 -
HIVE 安装设置
HIVE 介绍Hive 是一个基于 Hadoop 的开源数据仓库工具,用于存储和处理海量结构化数据。 它把海量数据存储于 hadoop 文件系统,而不是数据库,但提供了一套类数据库的数据存储和处理机制,并采用 HQL (类 SQL )语言对这些数据进行自动化管理和处理。我们可以把 Hive 中海量结构化数据看成一个个的表,而实际上这些数据是分布式存储在 HDFS 中的。 Hive 经过对语句进原创 2016-11-29 12:46:00 · 608 阅读 · 0 评论 -
HBase 安装
简介HBase是Apache Hadoop的数据库,能够对大型数据提供随机、实时的读写访问,是Google的BigTable的开源实现。HBase的目标是存储并处理大型的数据,更具体地说仅用普通的硬件配置,能够处理成千上万的行和列所组成的大型数据库。 HBase是一个开源的、分布式的、多版本的、面向列的存储模型。可以直接使用本地文件系统也可使用Hadoop的HDFS文件存储系统。为了提高数据原创 2016-11-28 13:11:32 · 695 阅读 · 0 评论 -
Spark 安装配置简单测试
系统环境Centos 7 服务器 当前用户 hadoop 下载地址http://archive.apache.org/dist/spark/wget http://archive.apache.org/dist/spark/spark-2.0.2/spark-2.0.2-bin-hadoop2.7.tgztar zxvf spark-2.0.2-bin-hadoop2.7.原创 2016-11-25 15:19:34 · 3317 阅读 · 0 评论 -
Sqoop 安装
环境说明Centos 7服务器 服务当前用户 hadoop(此用户有管理员权限) Sqoop当前版本1.99.7 风.fox下载地址http://archive.apache.org/dist/sqoop/wget http://archive.apache.org/dist/sqoop/1.99.7/sqoop-1.99.7-bin-hadoop200.tar.gztar -zxvf sqo原创 2016-11-24 17:29:23 · 544 阅读 · 0 评论 -
Filebeat 日志收集器 logstash-forwarder 的替代品
Filebeat是一个开源的文件收集器,主要用于获取日志文件,并把它们发送到logstash或elasticsearch。与libbeat lumberjack一起替代logstash-forwarder。在logstash-forwarder项目上,看到下面一些信息“The filebeat project replaces logstash-forwarder. Please use转载 2016-09-08 10:05:07 · 3685 阅读 · 1 评论 -
elasticsearch6.x.x logstash6.x.x kibana6.x.x Filebeat6.x 配置及安装 CentOS7.3或更高
环境说明 系统:Centos7.3 最低内存:4G JAVA: 8.XXXX默认已root用户执行 风.foxiswhocentos 防火墙设置要开启端口,否则,除本机外,其他任何机器不能访问方式一 开放9200 端口(其他端口按照本案例添加)firewall-cmd --zone=public --add-port=9200/tcp --permanent方式二 关闭防火墙systemct原创 2017-12-04 16:47:02 · 4112 阅读 · 0 评论