來(lái)源：blog.csdn.net/belonghuang157405/

article/details/83301937

寫(xiě)在前面：為什么要用ElasticSearch？

我們的應(yīng)用經(jīng)常需要添加檢索功能，開(kāi)源的Elastic Search是目前全文檢索引擎的首選。它可以快速的存儲(chǔ)、搜索和分析海量數(shù)據(jù)。ElasticSearch是一個(gè)分布式搜索框架，提供RestfulAPI，底層基于Lucene，采用多shard（分片）的方式保證數(shù)據(jù)安全，并且提供自動(dòng)resharding的功能。

Elasticsearch: 權(quán)威指南(中文)：

https://www./guide/cn/elasticsearch/guide/current/index.html

一、拉取ElasticSearch鏡像

在centos窗口中，執(zhí)行如下命令：

docker pull elasticsearch:5.6.8

當(dāng)前ES鏡像版本信息：

 {
  "name" : "WlwFyqU",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "78UDZtviQqiWmzmenGpSrQ",
  "version" : {
    "number" : "5.6.8",
    "build_hash" : "cfe3d9f",
    "build_date" : "2018-09-10T20:12:43.732Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.1"
  },
  "tagline" : "You Know, for Search"
 }

二、創(chuàng)建數(shù)據(jù)掛在目錄，以及配置ElasticSearch集群配置文件，調(diào)高JVM線(xiàn)程數(shù)限制數(shù)量

1.創(chuàng)建數(shù)據(jù)文件掛載目錄,并開(kāi)放通信端口

在centos窗口中，執(zhí)行如下操作：

[root@localhost soft]# pwd
/home/soft
[root@localhost soft]# mkdir -p ES/config
[root@localhost soft]# cd  ES 
[root@localhost ES]# mkdir data1
[root@localhost ES]# mkdir data2
[root@localhost ES]# mkdir data3
[root@localhost ES]# cd ES/config/
[root@localhost ES]# firewall-cmd --add-port=9300/tcp
success
[root@localhost ES]# firewall-cmd --add-port=9301/tcp
success
[root@localhost ES]# firewall-cmd --add-port=9302/tcp
success

注：如果ELK選的6.X版本的，那么讀者需將data1 data2 data3 開(kāi)啟777權(quán)限=> chmod 777 data1 data2 data3

2.創(chuàng)建ElasticSearch配置文件

在centos窗口中，使用vim命令分別創(chuàng)建如下文件：es1.yml,es2.yml,es3.yml

es1.yml

cluster.name: elasticsearch-cluster
node.name: es-node1
network.bind_host: 0.0.0.0
network.publish_host: 192.168.9.219
http.port: 9200
transport.tcp.port: 9300
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true 
node.data: true  
discovery.zen.ping.unicast.hosts: ["192.168.9.219:9300","192.168.9.219:9301","192.168.9.219:9302"]
discovery.zen.minimum_master_nodes: 2

es2.yml

cluster.name: elasticsearch-cluster
node.name: es-node2
network.bind_host: 0.0.0.0
network.publish_host: 192.168.9.219
http.port: 9201
transport.tcp.port: 9301
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true 
node.data: true  
discovery.zen.ping.unicast.hosts: ["192.168.9.219:9300","192.168.9.219:9301","192.168.9.219:9302"]
discovery.zen.minimum_master_nodes: 2

es3.yml

cluster.name: elasticsearch-cluster
node.name: es-node3
network.bind_host: 0.0.0.0
network.publish_host: 192.168.9.219
http.port: 9202
transport.tcp.port: 9302
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true 
node.data: true  
discovery.zen.ping.unicast.hosts: ["192.168.9.219:9300","192.168.9.219:9301","192.168.9.219:9302"]
discovery.zen.minimum_master_nodes: 2

注：本機(jī)虛擬機(jī)ip：192.168.9.219 讀者請(qǐng)自行更改

3.調(diào)高JVM線(xiàn)程數(shù)限制數(shù)量

在centos窗口中，修改配置sysctl.conf

vim /etc/sysctl.conf

加入如下內(nèi)容：

vm.max_map_count=262144 

啟用配置：

sysctl -p

注：這一步是為了防止啟動(dòng)容器時(shí)，報(bào)出如下錯(cuò)誤：bootstrap checks failed max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]

三、啟動(dòng)ElasticSearch集群容器

啟動(dòng)ElasticSearch集群容器

在centos窗口中，執(zhí)行如下命令：

 docker run -e ES_JAVA_OPTS="-Xms256m -Xmx256m" -d -p 9200:9200 -p 9300:9300 -v /home/soft/ES/config/es1.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /home/soft/ES/data1:/usr/share/elasticsearch/data --name ES01 elasticsearch:5.6.8
 
 docker run -e ES_JAVA_OPTS="-Xms256m -Xmx256m" -d -p 9201:9201 -p 9301:9301 -v /home/soft/ES/config/es2.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /home/soft/ES/data2:/usr/share/elasticsearch/data --name ES02 elasticsearch:5.6.8

 docker run -e ES_JAVA_OPTS="-Xms256m -Xmx256m" -d -p 9202:9202 -p 9302:9302 -v /home/soft/ES/config/es3.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /home/soft/ES/data3:/usr/share/elasticsearch/data --name ES03 elasticsearch:5.6.8

注：設(shè)置-e ES_JAVA_OPTS="-Xms256m -Xmx256m" 是因?yàn)?code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: 'Operator Mono', Consolas, Monaco, Menlo, monospace;word-break: break-all;">/etc/elasticsearch/jvm.options 默認(rèn)jvm最大最小內(nèi)存是2G，讀者啟動(dòng)容器后 可用docker stats命令查看

四、驗(yàn)證是否搭建成功

1.在瀏覽器地址欄訪(fǎng)問(wèn)http://192.168.9.219:9200/_cat/nodes?pretty 查看節(jié)點(diǎn)狀態(tài)

注：節(jié)點(diǎn)名稱(chēng)帶表示為主節(jié)點(diǎn)*

2.使用elasticsearch-head前端框架

1. 拉取鏡像

docker pull mobz/elasticsearch-head:5

2. 啟動(dòng)容器

docker run -d -p 9100:9100 --name es-manager  mobz/elasticsearch-head:5

3. 瀏覽器訪(fǎng)問(wèn)http://192.168.9.219:9100/

寫(xiě)在最后，這里要多提一點(diǎn)索引分片設(shè)置以及副本，官方推薦設(shè)置，讀者根據(jù)自身需要進(jìn)行修改：

curl -XPUT 'http://localhost:9200/_all/_settings?preserve_existing=true’ -d '{undefined
“index.number_of_replicas” : “1”,
“index.number_of_shards” : “10”
}’

附錄

1. 查看容器內(nèi)存

docker stats $(docker ps --format={{.Names}})

2. 查看容器日志

docker logs 容器名/容器ID

3. ElasticSearch配置文件說(shuō)明

cluster.name: elasticsearch-cluster
node.name: es-node1
#index.number_of_shards: 2
#index.number_of_replicas: 1
network.bind_host: 0.0.0.0
network.publish_host: 192.168.9.219
http.port: 9200
transport.tcp.port: 9300
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true 
node.data: true  
discovery.zen.ping.unicast.hosts: ["es-node1:9300","es-node2:9301","es-node3:9302"]
discovery.zen.minimum_master_nodes: 2

注：

• cluster.name：用于唯一標(biāo)識(shí)一個(gè)集群，不同的集群，其 cluster.name 不同，集群名字相同的所有節(jié)點(diǎn)自動(dòng)組成一個(gè)集群。如果不配置改屬性，默認(rèn)值是：elasticsearch。

• node.name：節(jié)點(diǎn)名，默認(rèn)隨機(jī)指定一個(gè)name列表中名字。集群中node名字不能重復(fù)

• index.number_of_shards: 默認(rèn)的配置是把索引分為5個(gè)分片

• index.number_of_replicas:設(shè)置每個(gè)index的默認(rèn)的冗余備份的分片數(shù)，默認(rèn)是1

通過(guò) index.number_of_shards，index.number_of_replicas默認(rèn)設(shè)置索引將分為5個(gè)分片，每個(gè)分片1個(gè)副本，共10個(gè)結(jié)點(diǎn)。

禁用索引的分布式特性，使索引只創(chuàng)建在本地主機(jī)上：

• index.number_of_shards: 1
• index.number_of_replicas: 0

但隨著版本的升級(jí) 將不在配置文件中配置而實(shí)啟動(dòng)ES后，再進(jìn)行配置

• bootstrap.memory_lock: true 當(dāng)JVM做分頁(yè)切換（swapping）時(shí)，ElasticSearch執(zhí)行的效率會(huì)降低，推薦把ES_MIN_MEM和ES_MAX_MEM兩個(gè)環(huán)境變量設(shè)置成同一個(gè)值，并且保證機(jī)器有足夠的物理內(nèi)存分配給ES，同時(shí)允許ElasticSearch進(jìn)程鎖住內(nèi)存

• network.bind_host: 設(shè)置可以訪(fǎng)問(wèn)的ip,可以是ipv4或ipv6的，默認(rèn)為0.0.0.0，這里全部設(shè)置通過(guò)

• network.publish_host:設(shè)置其它結(jié)點(diǎn)和該結(jié)點(diǎn)交互的ip地址，如果不設(shè)置它會(huì)自動(dòng)判斷，值必須是個(gè)真實(shí)的ip地址

同時(shí)設(shè)置bind_host和publish_host兩個(gè)參數(shù)可以替換成network.host

network.bind_host: 192.168.9.219
network.publish_host: 192.168.9.219
=>network.host: 192.168.9.219

• http.port:設(shè)置對(duì)外服務(wù)的http端口，默認(rèn)為9200

• transport.tcp.port: 設(shè)置節(jié)點(diǎn)之間交互的tcp端口，默認(rèn)是9300

• http.cors.enabled: 是否允許跨域REST請(qǐng)求

• http.cors.allow-origin: 允許 REST 請(qǐng)求來(lái)自何處

• node.master: true 配置該結(jié)點(diǎn)有資格被選舉為主結(jié)點(diǎn)（候選主結(jié)點(diǎn)），用于處理請(qǐng)求和管理集群。如果結(jié)點(diǎn)沒(méi)有資格成為主結(jié)點(diǎn)，那么該結(jié)點(diǎn)永遠(yuǎn)不可能成為主結(jié)點(diǎn)；如果結(jié)點(diǎn)有資格成為主結(jié)點(diǎn)，只有在被其他候選主結(jié)點(diǎn)認(rèn)可和被選舉為主結(jié)點(diǎn)之后，才真正成為主結(jié)點(diǎn)。

• node.data: true 配置該結(jié)點(diǎn)是數(shù)據(jù)結(jié)點(diǎn)，用于保存數(shù)據(jù)，執(zhí)行數(shù)據(jù)相關(guān)的操作（CRUD，Aggregation）；

• discovery.zen.minimum_master_nodes: //自動(dòng)發(fā)現(xiàn)master節(jié)點(diǎn)的最小數(shù)，如果這個(gè)集群中配置進(jìn)來(lái)的master節(jié)點(diǎn)少于這個(gè)數(shù)目，es的日志會(huì)一直報(bào)master節(jié)點(diǎn)數(shù)目不足。（默認(rèn)為1）為了避免腦裂，個(gè)數(shù)請(qǐng)遵從該公式 => (totalnumber of master-eligible nodes / 2 + 1)。* 腦裂是指在主備切換時(shí)，由于切換不徹底或其他原因，導(dǎo)致客戶(hù)端和Slave誤以為出現(xiàn)兩個(gè)active master，最終使得整個(gè)集群處于混亂狀態(tài)*

• discovery.zen.ping.unicast.hosts：集群個(gè)節(jié)點(diǎn)IP地址，也可以使用es-node等名稱(chēng)，需要各節(jié)點(diǎn)能夠解析