qq_33730729的博客

原创 nginx使用总结

访问静态资源location /images/ { root /root/resource;}访问http://ali/images/bbb.jpg得到想要的图片实际上bbb.jpg在服务器上的位置是/root/resource/imagesroot：用来配置根目录反向代理location /app/ { proxy_pass http://localhos...

原创 Redis位图

一、小试牛刀：setbit先不说位图，在查看redis文档的时候，遇到了一串非常有意思的命令：> SETBIT bitmapsarestrings 2 1> SETBIT bitmapsarestrings 3 1> SETBIT bitmapsarestrings 5 1> SETBIT bitmapsarestrings 10 1> SETBIT bi...

原创 Elasticsearch基本使用

文章目录一、定义一个索引二、添加数据三、查询数据1、查询全部数据2、查询1993年出生的人3、查询年龄为26并且身高超过173的人4、查询年龄等于24或者29的人三、聚合数据一、定义一个索引定义一个索引这个操作，在官方中叫做mappings，如果非要给mappings一个翻译，那么可以不恰当的说，mappings就是类似于关系型数据库的表结构，下面来看一下官方给mappings下的定义：Ma...

原创 Elasticsearch文档增删改查初体验

文章目录1. 创建文档2. 查询文档首先简单介绍一下Kibana，简单的说，它是Elasticsearch的图形化界面工具，通过它，我们可以将Elasticsearch集群中的数据以各式各样图标的形式展示出来方便分析，另外，它也提供了简单的控制台工具，方便我们操作Elasticsearch的Rest api。如何安装启动Kibana其实也很简单，下载安装包，解压，进入bin目录，启动，具体的安装...

原创 Elasticsearch创建文档

单个创建、批量创建核心代码：package com.zhx.document.create;import com.zhx.common.ElasticsearchCloseException;import com.zhx.common.ElasticsearchConnection;import org.elasticsearch.action.DocWriteRequest;impo...

原创 Elasticsearch基本概念

文章目录1. 基本概念1.1 节点(node)1.2 集群(cluster)1.3 索引(index)1.4 类型(type)1.5 文档(document)1.6 映射(mapping)1.7 字段(field)1.8 分片(shard)1.9 主分片(primary shard)1.10 副本分片(replica shard)2. 添加文档2.1 单条添加2.2 批量添加1. 基本概念1....

原创 Elasticsearch安装配置

文章目录1. Elasticsearch可以用来解决什么问题？2. 安装Elasticsearch2.1. windows平台2.2. linux平台3. 配置3.1. 系统配置3.2. Elasticsearch配置1. Elasticsearch可以用来解决什么问题？参考：Elasticsearch官方描述Elasticsearch是一个分布式的搜索和分析引擎，是Elastic技术栈的心...

原创 jvm troubleshoot command: jstat

一、官方文档地址https://docs.oracle.com/javase/8/docs/technotes/guides/troubleshoot/tooldescr017.html#BABCDBEA二、该命令的作用The jstat utility uses the built-in instrumentation in the Java HotSpot VM to provide i...

原创 elasticsearch：查看文档(三)

一、查看info索引下的所有数据https://www.elastic.co/guide/en/elasticsearch/reference/6.3/getting-started-search-API.htmlcurl -X GET “localhost:9200/info/_search” -H ‘Content-Type: application/json’ -d’{“query”...

原创 elasticsearch：添加文档(二)

一、查看集群健康：https://www.elastic.co/guide/en/elasticsearch/reference/6.3/getting-started-cluster-health.htmlcurl -X GET “localhost:9200/_cat/health?v”epoch timestamp cluster status node.tota...

原创 elasticsearch：安装(一)

一、版本6.3.0，当前用户hassan，主机：aliyun二、修改系统配置文件sudo vim /etc/security/limits.conf，添加：hassan - nofile 65536sudo vim /etc/sysctl.conf，添加vm.max_map_count=262144三、后台启动elasticsearch：/es_home/bin/elastic...

原创 搭建SkyWalking测试环境

SkyWalking整体上分为探针、后台、UI界面三大部分，探针使用字节码注入技术实现对服务的跟踪，然后将追踪到的数据发送给后台，后台会把这些数据存储，目前支持的存储介质为Mysql，H2，ElasticSearch，最后UI界面访问后台接口，从而我们可以看到追踪的数据，大致如下：下面介绍安装部署：一、下载安装包skywalking：``https://www.apache.org/dyn...

原创 feign中开启hystrix

有一个服务A，主要依赖如下： <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-openfeign</artifactId> &...

原创 Springboot源码解析：SpringApplication#run（2）

一、ApplicationArguments applicationArguments = new DefaultApplicationArguments(args); private final Source source; private final String[] args; public DefaultApplicationArguments(String[] args) { ...

原创 三、Springboot源码解析：SpringApplication#run（1）

创建万SpringApplication方法之后，接下来就是调用其run方法了，源码如下： public ConfigurableApplicationContext run(String... args) { StopWatch stopWatch = new StopWatch(); stopWatch.start(); ConfigurableApplicationContex...

原创 二、Springboot源码解析：创建SpringApplication对象（2）

一、什么是ApplicationContextInitializer？首先看它的定义：package org.springframework.context;/** * Callback interface for initializing a Spring {@link ConfigurableApplicationContext} * prior to being {@linkpla...

原创 一、Springboot源码解析：创建SpringApplication对象（1）

springboot项目中，都会有一个主类，其上标注有@SpringBootApplication，该主类中有一个main方法，运行该方法就会启动该项目，那么main方法中的SpringApplication.run(DemoFeignUserApplication.class, args); 到底做了什么事？首先，它会创建SpringApplication对象，如下：...

原创 九、flume案例(一)

1. 目标source监听本地44444端口的数据，然后由sink在控制台展示出来。2. 实现过程1》在~/software下载flume最新版本：wget http://mirrors.shu.edu.cn/apache/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz2》在当前文件夹下解压：tar -zxvf apache-flume-1.9.0-bi...

原创 八、搭建完全分布式Hadoop集群

1.电脑配置i5四代处理器，256G固态硬盘的笔记本电脑上安装vmware，然后新建三个虚拟机，每个虚拟机分配888M内存。2.搭建过程first：三台虚拟机ssh能互相登陆，hostname分别为server1，server2，server3，对应的ip地址分别为：192.168.138.50，192.168.138.51，192.168.138.52，网络模式为NAT。second：集...

原创 闲聊kafka(五)

生产者有很多可配置的参数，在kafka文档里都有说明，它们大部分都有合理的默认值，没必要去修改它们，不过有几个参数在内存使用，性能和可靠性方面对生产者影响比较大，接下来我们意义说明。acksacks参数指定了必须要有多少个分区副本收到消息，生产者才会认为消息是写入成功的，这个参数对消息丢失对可能性有重要影响。acks = 0，吞吐量高，不关心消息是否发送成功。acks = 1，只要首领写...

原创 闲聊kafka(四)

本文主要想探究一下生产者生产的消息，在kafka集群中究竟是怎样存储的？First: 启动集群在每个kafka的根目录下执行：/home/tao/workspace/kafka/kafka_2.12-2.0.0/bin/kafka-server-start.sh config/server.properties &amp;amp;amp;amp;Second: 创建一个新的topic命令如下：bin/kaf...

原创 闲聊kafka(三)

参考资料：《kafka权威指南》，作者薛命灯----------------------------------------------------------------------我是分割线------------------------------------------------------------------------1. kafka生产者-----》向kafka写入数据发...

翻译 闲聊kafka(二)

本文是对于于kafka官方文档的部分翻译---------------------------------我是分割线----------------------------------------4.Distribution(分布式特性)The partitions of the log are distributed over the servers in the Kafka cluste...

翻译 kafka(一)

1. what‘s kafka?Apache Kafka® is a distributed streaming platform, which has four core APIs:Producer APIConsumer APIStreams APIConnector API2. what’s topic?A topic is a category or feed name ...

原创 七、关于flume

reference: http://flume.apache.org/FlumeUserGuide.html1、flume是为了解决什么问题的？  引用官方文档的描述：  Apache Flume is a distributed, reliable, and available system for efficiently collecting, aggregating and movin...

原创 六、阿里云搭建Hadoop伪分布式环境

1、常见命令：hadoop fs -help: 查看文件系统帮助hadoop fs -ls /: 显示目录信息fs -mkdir -p /aa/bb/cc: 创建多级目录hadoop fs -copyFromLocal copylocalfile /aa/bb/cc: 本地文件复制到HDFShadoop fs -moveFromLocal moveLocalfile /aa/bb/cc...

原创 五、关于YARN

1、什么是YARN？  为了改善MapReduce的实现，在Hadoop2.X版本中，引入了YARN(Yet Another Resource Negotiator)，但它具有足够的通用性，同样可以支持其它的分布式计算模式。YARN提供请求和使用资源的API，但这些API很少用于用户代码，相反，用户代码中使用的是分布式计算框架提供的更高层API，这些API建立在YARN之上并且向用户隐藏了资源管...

原创 四、HDFS整体架构(下)

reference:http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html5、Replica的数据放哪里？  首先需要清楚的是数据副本放置的位置对于HDFS的可靠性和性能有非常大的影响，其次在选择副本放置策略的时候，应该可靠性、可用性和带宽利用率三个方面来权衡，HDFS目前的策略是...

原创 三、HDFS整体架构(上)

1、什么是HDFS？HADOOP DISTRIBUTE FILE SYSTEM：Hadoop分布式文件系统。2、它的设计目标是什么？高度容错，对硬件要求比较低；流式处理数据，它是用来处理大批量对数据而不是响应式地处理用户请求；简单的一致性模型；移动计算能力而不是移动数据；可移植性比较好。3、整体架构先来看一下官方提供的架构图：下面是官方的原话：HDFS has a ma...

原创 二、Quick start!

1 、目标配置一个单节点的

原创 一、什么是Apache Hadoop？

1、简介：  Apache Hadoop是一个致力于可靠的，可伸缩的，分布式计算的开源项目，它允许使用简单的编程模型实现在上千台机器组成的集群中分布式地处理大型数据集，每台机器都提供本地计算和本地存储，与在硬件层面实现高可用相比，它是在应用层面监测和处理错误。2、项目的组成部分：  该工程主要包含四个模块：Hadoop Common:供其他三个模块使用的工具类；Hadoop Distr...

原创 查看文件夹的大小

du -sh shark_api-0.0.1-SNAPSHOT

翻译 RabbitMQ配置

大多数情况下我们可以使用默认的参数来有效的运行RabbitMQ，当然我们自己也可以调节系统范围内的参数来实现定制化需求的目的，这里有三种方式：环境变量（environment variables）配置文件（configuration file）运行时参数和策略（runtime parameter and policy）6.1 环境变量RabbitMQ的环境变量都是以RABBITMQ_...

原创 idea右键项目没有git当解决方法

原创 RabbitMQ管理

5.1 多租户管理  每个RabbitMQ服务器都能创建虚拟的消息服务器，我们称之为虚拟主机（virtual host），简称为vhost，每一个vhost本质上是一个独立的小型RabbitMQ服务器，拥有自己独立的队列、交换器、绑定关系等，并且它拥有自己独立的权限，vhost之间是绝对隔离的，vhost是AMQP的基础，客户端在连接的时候必须指定一个，默认为&amp;amp;amp;quot;/&amp;amp;amp;quot;，添加和删除vhost的相关命...

原创 RabbitMQ进阶

4.1 消息何如何从这里主要介绍mandatory和immediate两个参数4.1.1 mandatory参数  当mandatory参数设置为true时，交换器无法根据自身当类型和路由键找到一个符合条件的队列，那么RabbitMQ会调用Basic.Return命令将消息返回给生产者，当mandatory为false时，出现上述情形，消息直接丢弃。  那么生产者如何获取到没有被正确路由到...

原创 RabbitMQ实战第三章

第三章3.1连接RabbitMQ可以通过指定用户名密码ip端口来实现，也可以通过uri的方式来实现；注意点：Connection可以用来创建多个channel实例，但是channel实例不能在线程之间共享，应用程序应该为每一个线程开辟一个channel，多线程之间共享channel实例是非线程安全的。不要在生产环境使用connection或者channel的isopen()方法，...

原创 阿里巴巴JSON

String url = "http://api.k780.com:88/?app=weather.history&amp;weaid=%s&amp;date=$s&amp;appkey=10003&amp;sign=b59bc3ef6191eb9f747dd4e83c99f2a4&amp;format=json";for (Map&lt;String, String&gt; map : rep...

原创 拼接url

String url = properties.getProperty(".get.token.url");url = CommonUtil.getUrl(url, appId, appMap.get(appId));/** * 拼接url */ public static String getUrl(String base, String... args) { retur...

原创 经典sql

&lt;select id="selectJoinSkcBySkc" resultType="Map"&gt; SELECT t4.merchandise_id as skcId, count(1) as count FROM goods_sku t1, op_pos_item t2, op_pos_item t3, goods_sku t4, ...