本文详细介绍了如何使用Java连接Elasticsearch集群，并提供了配置文件参考和参数解析。文中还探讨了Elasticsearch处理大型日志流的关键概念，包括cluster、shards、replicas、recovery和river，以及discovery.zen和Transport的作用。
Elasticsearch2.0集群配置1.环境说明：
三个节点： Windows上配置：一个主节点，一个从节点，设定不同的端口后，启动两个Elasticsearch进程 Linux上配置 ：一个从节点，设置默认端口，启动一个Elasticsearch进程 Windows: 192.168.1.120 node1 --- 主节点 :9200 节点间的通信端口(默认：9200) :9300 Http数据传输接口(默认：9300) node3 --- 从节点 :9201 :9301 Linux： 192.168.1.246 linux_node2 --- 从节点 :9200 :93002.Windows上node1的config/elasticsearch.yml配置
node1主节点： #自定义创建集群配置信息 # elasticsearch-node1主节点的配置 192.168.1.120 network.host: 192.168.1.120 # 配置集群名称 cluster.name: mycluster # 配置节点名称 node.name: "node1" node.master: true node.data: true #设置传播发现选项 discovery.zen.ping.multicast.enabled: false discovery.zen.ping.unicast.hosts: ["192.168.1.120:9300"] # 为节点之间的通信设置一个自定义端口(默认为9300) transport.tcp.port: 9300 # 设置监听HTTP传输的自定义端(默认为9200) http.port: 9200 node3从节点: #自定义创建集群配置信息 # elasticsearch-node1主节点的配置 192.168.1.120 network.host: 192.168.1.120 # 配置集群名称 cluster.name: mycluster # 配置节点名称 node.name: "node3" node.master: false node.data: true discovery.zen.ping.multicast.enabled: false discovery.zen.ping.unicast.hosts: ["192.168.1.120:9300"] # 为节点之间的通信设置一个自定义端口(默认为9300) transport.tcp.port: 9301 # 设置监听HTTP传输的自定义端(默认为9200) http.port: 92013.Linux上linux_node2的config/elasticsearch.yml配置
linux_node2从节点: # elasticsearch-node2配置 192.168.1.246 network.host: 192.168.1.246 # 配置集群名称 cluster.name: mycluster # 配置节点名称 node.name: "linux_node2" node.master: false node.data: true # 为节点之间的通信设置一个自定义端口(默认为9300) transport.tcp.port: 9300 # 设置监听HTTP传输的自定义端(默认为9200) http.port: 9200 #设置发现选项地址 discovery.zen.ping.multicast.enabled: false discovery.zen.ping.unicast.hosts: ["192.168.1.120:9300"]4.通过Elasticsearch-head插件访问
1.安装head插件 Windows下安装： elasticsearch-2.0.0\bin>plugin install mobz/elasticsearch-head Linux下安装head插件 elasticsearch/bin/./plugin install mobz/elasticsearch-head 访问Elasticsearch： http://IP:port/_plugin/head/ 2.通过head访问Elasticsearch http://192.168.1.120:9200/_plugin/head/ 特别注意： 这里的IP:port要与elasticsearch.yml中配置的network.host和http.port一致，否则无法访问
5.特别说明：
#设置发现选项地址 hosts的地址：最好是主节点的 ["network.host:http:port:]
6.Java连接Elasticsearch集群
package com.jay.elasticsearch.demo2;
import org.elasticsearch.client.transport.TransportClient;
//import org.elasticsearch.common.settings.ImmutableSettings;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.transport.InetSocketTransportAddress;
import java.lang.reflect.Constructor;
import java.net.InetAddress;
import java.net.UnknownHostException;
/**
* 通过反射机制和单例模式，初始化更加高效的Client
* 对ES2.0有效
* Created by Jay He on 2015/11/9.
*/
public class MoreEffectiveClientTest {
// private static final String CLUSTER_NAME = "cluster_name";
public static final String CLUSTER_NAME = "elasticsearch";
// private static final String IP = "127.0.0.1";
private static final String IP = "192.168.1.120";
private static final int PORT = 9300;
//1.设置集群名称：默认是elasticsearch，并设置client.transport.sniff为true，使客户端嗅探整个集群状态，把集群中的其他机器IP加入到客户端中
/*
//对ES1.6有效
private static Settings settings = ImmutableSettings
.settingsBuilder()
.put("cluster.name",CLUSTER_NAME)
.put("client.transport.sniff", true)
.build();
*/
//对ES2.0有效
private static Settings settings = Settings
.settingsBuilder()
.put("cluster.name",CLUSTER_NAME)
.put("client.transport.sniff", true)
.build();
//创建私有对象
private static TransportClient client;
//反射机制创建单例的TransportClient对象 ES1.6版本
// static {
// try {
// Class<?> clazz = Class.forName(TransportClient.class.getName());
// Constructor<?> constructor = clazz.getDeclaredConstructor(Settings.class);
// constructor.setAccessible(true);
// client = (TransportClient) constructor.newInstance(settings);
// client.addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName(IP), PORT));
// } catch (Exception e) {
// e.printStackTrace();
// }
// }
//ES2.0版本
static {
try {
client = TransportClient.builder().settings(settings).build()
.addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName(IP), PORT));
} catch (UnknownHostException e) {
e.printStackTrace();
}
}
//取得实例
public static synchronized TransportClient getTransportClient(){
return client;
}
//为集群添加新的节点
public static synchronized void addNode(String name){
try {
client.addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName(name),9300));
} catch (UnknownHostException e) {
e.printStackTrace();
}
}
//删除集群中的某个节点
public static synchronized void removeNode(String name){
try {
client.removeTransportAddress(new InetSocketTransportAddress(InetAddress.getByName(name),9300));
} catch (UnknownHostException e) {
e.printStackTrace();
}
}
public static void main(String args[]){
getTransportClient();
}
}
附：一个ES配置文件参考与参数详解
cluster.name: data-cluster
node.name: "data-es-05"
#node.data: false
# Indexing & Cache config
index.number_of_shards: 5
index.number_of_replicas: 1
index.cache.field.type: soft
index.cache.field.expire: 10m
index.cache.query.enable: true
indices.cache.query.size: 2%
indices.fielddata.cache.size: 35%
indices.fielddata.cache.expire: 10m
index.search.slowlog.level: INFO
#indices.recovery.max_size_per_sec: 1gb
index.merge.scheduler.max_thread_count: 2 # Only for spinning media.
# Refresh config
index.refresh_interval: 300s
# Translog config
index.translog.flush_threshold_ops: 100000
# Paths config
path.data: /data/esData
path.plugins: /usr/share/elasticsearch/plugins
# Network And HTTP
network.bind_host: 10.0.126.203
network.publish_host: 10.0.126.203
transport.tcp.port: 9300
transport.tcp.compress: true
http.port: 9200
# Discovery
discovery.zen.minimum_master_nodes: 1
discovery.zen.ping.timeout: 10s
discovery.zen.ping.multicast.enabled: false
discovery.zen.ping.unicast.hosts: ["10.0.32.3:9300", "10.0.4.37:9300", "10.0.40.159:9300", "10.0.107.116:9300" , "10.0.126.203:9300"]所有的配置都可以使用环境变量，例如：
node.rack: ${RACK_ENV_VAR}
表示环境变量中有一个RACK_ENV_VAR变量。
下面列举一下elasticsearch的可配置项：
1. 集群名称，默认为elasticsearch：
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
