
大数据
文章平均质量分 58
大数据相关学习
LoveG_G
爱撸猫的阿聪
展开
-
2021-09-12
第二章 Hadoop运行环境搭建2.1 Hadoop环境搭建确定有多台机器,机器之间网络互通 创建用户hadp,useraddhadp 创建目录,/opt下创建modulesoftware目录, 并且赋权限 拷贝安装包到software JDK ;tar -zxvf jdk-8u251-linux-x64.tar.gz -C ../module/ 安装 ;配置PATH Hadoop : 官网比较慢,腾讯地址Index of /apache/hadoop/ 解压;配置PATH...原创 2021-09-20 02:02:57 · 139 阅读 · 0 评论 -
大数据Hadoop学习笔记(二)
第二章 Hadoop运行环境搭建2.1 Hadoop环境搭建确定有多台机器,机器之间网络互通 创建用户hadp,useraddhadp 创建目录,/opt下创建modulesoftware目录, 并且赋权限 拷贝安装包到software JDK ;tar -zxvf jdk-8u251-linux-x64.tar.gz -C ../module/ 安装 ;配置PATH Hadoop : 官网比较慢,腾讯地址https://mirrors.cloud.tencent.com/a...原创 2021-09-12 23:06:33 · 190 阅读 · 0 评论 -
ElasticStack学习笔记(三)
第三章ElasticSearch3.1 分词3.1.1 分词简介分词:语言识别,讲一句话分为多个单词就是分词。默认使用标准分词器;分词器接受一个字符串作为输入,将这个字符串拆分成独立的词或语汇单元(token)(可能会丢弃一些标点符号等字符),然后输出一个语汇单元流(token stream)。POST http://172.31.132.130:9200/_analyze{ "analyzer":"standard", "text": "hell w...原创 2021-03-23 15:42:33 · 150 阅读 · 0 评论 -
ElasticStack学习笔记(二)
第二章 ElasticSearch2.1ElasticSearch概念文档 :Elasticsearch 是一个分布式文档储存中间件,它不会将信息储存为列数据行,而是储存已序列化为 JSON 文档的复杂数据结构。当你在一个集群中有多个节点时,储存的文档分布在整个集群里面,并且立刻可以从任意节点去访问。索引 :当文档被储存时,它将建立索引并且近实时(1s)被搜索。 Elasticsearch 使用一种被称为倒排索引的数据结构,该结构支持快速全文搜索。在倒排索引里列出了所有文档中出现的每一.原创 2021-03-22 14:03:30 · 315 阅读 · 0 评论 -
ElasticStack学习笔记(一)
第一章 ElasticSearch简介1.1 ElasticStack“ELK”是三个开源项目的首字母缩写,这三个项目分别是:Elasticsearch、Logstash 和 Kibana。Elasticsearch 是一个搜索和分析引擎。Logstash 是服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到诸如 Elasticsearch 等“存储库”中。Kibana 则可以让用户在 Elasticsearch 中使用图形和图表对数据进行可视化。ELK Stack 中加.原创 2021-03-22 10:17:18 · 315 阅读 · 0 评论 -
大数据Hadoop学习笔记(一)
第一章大数据概论1.1大数据概念原创 2021-03-04 22:11:06 · 237 阅读 · 1 评论 -
Flume学习笔记(二)
第二章 Flume入门2.1 Flume安装地址安装地址http://archive.apache.org/dist/flume/2.2 安装部署原创 2021-03-04 00:30:33 · 455 阅读 · 1 评论 -
Flume学习笔记(一)
第一章 Flume概述Apache Flume 是一个分布式、高可靠、高可用的用来收集、聚合、转移不同来源的大量日志数据到中央数据仓库的工具,总结一下就是Flume是一个很NB的用来收集日志的工具官网 :http://flume.apache.org/Flume 1.8用户手册中文版https://flume.liyifeng.org/基本架构图:详细架构图:Flume的拓扑结构Flume Agent 内部原理replicat...原创 2021-03-04 00:05:38 · 261 阅读 · 1 评论