- 博客(23)
- 资源 (14)
- 收藏
- 关注
RSS订阅原创 检查Hadoop集群中HDFS数据的均衡程度
检查节点上数据的均衡程度最好的办法是使用 hdfs dfsadmin -report 命令，来检查数据的均衡程度，以确定均衡的频率，以下示例是显示如何检查集群中HDFS数据的均衡度:sudo -u hdfs hdfs dfsadmin -report | cat <(echo "Name: Total") - |grep '^\(Name\|Total\|DFS Used\)' | tr '\n' '\t' | sed -e 's/\(Name\)/\n\1/g' | sort --field-s
2020-05-18 15:18:18
879
原创 磁盘容量监控
#!/bin/bashhost_ip=$(/sbin/ifconfig -a|grep inet|grep -v 127.0.0.1|grep -v inet6|awk '{print $2}'|tr -d "addr:")storage_num1=$(df -h | grep -v Filesystem | grep -v 文件系统 | awk '{print $5,$6}' | awk ...
2020-03-23 14:22:32
379
原创 安装MySQL数据库
安装MySQL部署文档：https://dev.mysql.com/doc/mysql-yum-repo-quick-guide/en/# yum -y install yum-utils# rpm -ivh https://dev.mysql.com/get/mysql80-community-release-el7-1.noarch.rpm# yum-config-manager ...
2020-03-03 21:09:56
199
原创 Hortonworks Nodemanager启动但失败：连接拒绝：8042 解决方法
问题描述：Connection failed to http://10.171.31.40:8042/ws/v1/node/info (Traceback (most recent call last): File "/var/lib/ambari-agent/cache/stacks/HDP/3.0/services/YARN/package/alerts/alert_nodemanage...
2019-09-03 17:59:30
4923
原创 nginx 安装与下载
1、Nginx下载：nginx-1.13.0.tar.gz，下载到：/opt/softwares/$ wget http://nginx.org/download/nginx-1.13.0.tar.gz2、Nginx解压安装：$ tar -zxvf nginx-1.13.0.tar.gz -C ./3、预先安装$ yum -y install gcc gcc-c++ ncurses-...
2019-08-26 10:58:45
236
原创 第10节 document id的手动指定与自动生成两种方式解析
课程大纲1、手动指定document id2、自动生成document id1、手动指定document id（1）根据应用情况来说，是否满足手动指定document id的前提：一般来说，是从某些其他的系统中，导入一些数据到es时，会采取这种方式，就是使用系统中已有数据的唯一标识，作为es中document的id。举个例子，比如说，我们现在在开发一个电商网站，做搜索功能，或者是OA系...
2019-06-17 18:05:04
260
原创 第9节 初步解析document的核心元数据以及图解剖析index创建反例
课程大纲1、_index元数据2、_type元数据3、_id元数据{ "_index": "test_index", "_type": "test_type", "_id": "1", "_version": 1, "found": true, "_source": { "test_content": "test test" }}1、_index...
2019-06-17 16:12:38
162
原创 centos7.5 安装Elasticsearch7.1
安装环境一个多节点集群中，正常情况下应该包括以下3种类型的节点master节点维护元数据，管理集群各个节点状态，建议3台机器做masterdata节点负责数据的查询和导入的，压力较大，需要比master和client更高配置的机器client节点作为任务分发用的，它里面也会存元数据，但是它不会对元数据做任何修改。另 外它还分担了data节点压力，把data节点一...
2019-05-23 18:21:39
2393
原创 第8节 图解Elasticsearch容错机制：master选举，replica容错，数据恢复
课程大纲1、图解Elasticsearch容错机制：master选举，replica容错，数据恢复（1）9 shard，3 node（2）master node宕机，自动master选举，red（3）replica容错：新master将replica提升为primary shard，yellow（4）重启宕机node，master copy replica到该node，使用原有的shar...
2019-05-22 14:41:11
193
原创 第7节 图解横向扩容过程，如何超出扩容极限，以及如何提升容错性
课程大纲1、图解横向扩容过程，如何超出扩容极限，以及如何提升容错性（1）primary&replica自动负载均衡，6个shard，3 primary，3 replica（2）每个node有更少的shard，IO/CPU/Memory资源给每个shard分配更多，每个shard性能更好（3）扩容的极限，6个shard（3 primary，3 replica），最多扩容到6台机器，每...
2019-05-22 14:36:59
206
原创 第6节 图解2个node环境下replica shard是如何分配的
课程大纲1、图解2个node环境下replica shard是如何分配的（1）replica shard分配：3个primary shard，3个replica shard，1 node（2）primary —> replica同步（3）读请求：primary/replica...
2019-05-22 14:35:12
151
原创 第5节 shard&replica机制再次梳理以及单node环境中创建index图解
课程大纲1、shard&replica机制再次梳理2、图解单node环境下创建index是什么样子的1、shard&replica机制再次梳理（1）index包含多个shard（2）每个shard都是一个最小工作单元，承载部分数据，lucene实例，完整的建立索引和处理请求的能力（3）增减节点时，shard会自动在nodes中负载均衡（4）primary shard...
2019-05-22 14:28:24
195
原创 第4节 手工画图剖析Elasticsearch的基础分布式架构
课程大纲1、Elasticsearch对复杂分布式机制的透明隐藏特性2、Elasticsearch的垂直扩容与水平扩容3、增减或减少节点时的数据rebalance4、master节点5、节点对等的分布式架构1、Elasticsearch对复杂分布式机制的透明隐藏特性Elasticsearch是一套分布式的系统，分布式是为了应对大数据量隐藏了复杂的分布式机制分片机制（我们之前随随...
2019-05-22 14:25:38
181
原创 第3节 快速入门案例实战之电商网站商品管理：多种搜索方式
第一个分析需求：计算每个tag下的商品数量GET /ecommerce/product/_search{ "aggs": { "group_by_tags": { "terms": { "field": "tags" } } }}将文本field的fielddata属性设置为true PUT /ecommerce/_mapping/produc...
2019-05-22 14:23:13
188
原创 第2节 快速入门案例实战之电商网站商品管理：集群健康检查，文档CRUD
课程大纲1、document数据格式2、电商网站商品管理案例：背景介绍3、简单的集群管理4、商品的CRUD操作（document CRUD操作）1、document数据格式面向文档的搜索分析引擎（1）应用系统的数据结构都是面向对象的，复杂的（2）对象数据存储到数据库中，只能拆解开来，变为扁平的多张表，每次查询的时候还得还原回对象格式，相当麻烦（3）ES是面向文档的，文档中存储的...
2019-05-22 14:18:07
157
原创 第1节：Elasticsearch核心概念：NRT、索引、分片、副本等
1、lucene和elasticsearch的前世今生2、elasticsearch的核心概念3、elasticsearch核心概念 vs. 数据库核心概念
2019-05-22 13:57:16
234
原创 CentOS7.6 编译安装 Python3.6.8
我使用的是 CentOS7.6 安装 Python3.6.8使用 python -V 命令查看一下是否安装 Python：[root@atguigu3 tools]# python -VPython 2.7.5然后查看一下 Python 可执行文件的位置：[root@atguigu3 tools]# which python/usr/bin/python进入到bin目录：#cd...
2019-03-27 14:53:39
1053
原创 Jenkins安装和配置
1.安装Jenkins配置管理安装Jenkins前的环境准备(centos7)a）填加yum仓库源通过wget方式下载jenkins的安装包# wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins-ci.org/redhat-stable/jenkins.repo# rpm --import http://pkg.jen...
2019-03-24 21:52:46
344
原创 Ansible配合virtualenv安装配置
1.关闭系统防火墙systemctl stop firewalldsystemctl disable firewalld
2019-03-22 11:49:13
711
1
原创 Gitlab安装（带SSL证书）
Gitlab安装和配置管理安装omnibus Gitlab-paceage#yum -y install curl policycoreutils openssh-server openssh-clients postfix配置Yum仓库#curl -Ss https://packages.gitlab.com/install/repositories/gitlab/gitlab-...
2019-03-21 10:50:49
4592
原创 Centos7.5安装Ambari2.6.1+HDP2.6.4搭建Hadoop集群
1.1 版本说明软件 版本CentOS Linux release 7.5.1804 (Core)jdk jdk-8u112-linux-x64.tar.gzAmbari ambari-2.6.1.0-centos7.tar.gzHDP HDP-2.6.4.0-centos7-rpm.tar.gzHDP-UTILS HDP-UTILS-1.1.0.21-centos7.tar.gz1...
2018-10-08 17:59:49
1562
转载 基于Hadoop生态圈的数据仓库实践（一）
二、在Hadoop上实现数据仓库 （大部分翻译自《Big Data Warehousing》） 数据仓库技术出现很长时间了，现在为什么要从传统数据库工具转为使用Hadoop呢？答案就是最引人关注的流行词汇 —— 大数据。对许多组织来说，传统关系数据库已经不能够经济地处理他们所面临的数据量。而Hadoop生态圈就是为了能够廉价处理大量数据的目的应运而生的。下面看看大数据是怎么定义...
2018-06-29 22:17:50
4551
PADS9.5实战攻略与高速PCB设计-完整版
2014-08-23
应聘硬件工程师或研发类工作资料集锦_硬件工程师_电子工程师_嵌入式工程师_单片机_笔试题目_面试题目
2013-06-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人