Elasticsearch核心概念
一,Lucene和Elasticsearch的前世今生
Lucene,最先进、功能最强大的搜索库,直接基于Lucene开发,非常复杂,api复杂(实现一些简单的功能,写大量的java代码),需要深入理解原理(各种索引结构)
Elasticsearch,基于Lucene,隐藏复杂性,提供简单易用的restful api接口,java api接口(还有其他语言的api接口)
1.分布式的文档存储引擎
2.分布式的搜索引擎和分析引擎
3.分布式的,支持PB级的数据
开箱即用,优秀的默认 参数,不需要任何额外设置,完全开源
关于Elasticsearch的一个传说,有一个程序员失业了,陪着自己老婆去英国伦敦学习厨师课程,程序员的在失业期间想给老婆写一个菜谱的搜索引擎,觉得Lucene实在太复杂了,就开发了一个封装Lucene的开源项目,compass,后来程序员找到了工作,是做分布式的高性能项目,觉得compass不够,就写了Elasticsearch,让Lucene编程了分布式的系统。
二,Elasticsearch的核心概念 1.Near Realtime(NRT) ,近实时,两个意思,从写入数据到数据可以被搜索到有一个小延迟(大概:秒),基于ES执行搜索和分析可以达到秒级 2.Clutser:集群,包含多个节点,每个节点属于哪个集群是通过一个配置(集群名称,默认是elasticsearch)来决定的,对于中小型应用来说,刚开始一个集群就一个节点很正常。 3.Node:节点,集群中的一个节点,节点也有一个名称(默认是随机分配的),节点名称很总要(在执行运维管理操作的时候),默认节点回去加入一个名称为“elasticsearch”的集群,如果直接启动一堆节点,那么他们会自动组成一个elasticsearch集群,当然一个节点也可以组成一个elasticsearch集群) 4.Document:文档,ES中的最小数据单元,一个document可以使一条客户数据,一条商品分类数据,一条订单数据,通常用json数据结构表示,每个index下的type中,都可以去存储多个document。一个document里面有多个field就是一个数据字段。 product document { "product_id":"1", "product_name":"高露洁牙膏", "product_desc":"高效美白", "category_id":"2", "category_name":"日化用品" } 5.Index:索引,包含一堆有相似结构的文档数据,比如可以有一个客户索引,商品分类索引,订单索引,索引有一个名称。一个index包含很多document,一个index就代表了一类类似的或者相同的document,比如说简历一个product index,商品索引,里面就可能存放了所有商品数据,所有商品document。 6.Tpye:类型,每个索引里面都可以有一个或多个type,type是index中的一个逻辑数据分类,一个type下的document,都有相同的field,比如博客系统,有一个索引,可以定义用户数据type,博客数据type,评论数据type。
商品index,里面存放了所有的商品数据,商品document,但是商品分很多种类,每个种类的document的field可能不太一样,比如说电器商品,可能还包含一些诸如售后时间范围这样的特殊field,生鲜商品,还包含一些诸如生鲜保质期之类的特殊field。
type,日化用品type,电器商品type,生鲜商品type 日化商品type,product_id,product_name,product_desc,category_id,category_name 电器商品type,product_id,product_name,product_desc,category_id,category_name,sercice_period 生鲜商品type,product_id,product_name,product_desc,category_id,category_name,eat_period
每一个type里面,都会包含一堆document { "product_id":"2", "product_name":"长虹电视机", "product_desc":"4k高清", "category_id":"3", "category_name":"电器", "sercice_period":"1年" }
{ "product_id":"3", "product_name":"基围虾", "product_desc":"纯天然,冰岛产", "category_id":"4", "category_name":"生鲜", "eat_period":"7天" } 7.shard:单台机器无法存储大量数据,ES可以将一个索引中的数据切分为多个shard,分布在多台服务器上存储,有了shrad就可以横向扩展,存储更多数据,让搜索和 操作分布到多台服务器上去执行,提升吞吐量和性能,每个shard都是一个Lucene index。
8.replica:任何一个服务器随时可以故障或宕机,此时shard可能就会丢失,因此可以为每个shard创建多个replica副本,replica可以在shard故障是提供备用服务,不丢失,多个replica还可以替身搜索操作的吞吐量和性能,primary shard(建立索引是一次设置,不能修改,默认5个),replica shrad(随时修改数量,默认1个),默认每个索引10个shard,5个primary shrad,5个 replica shrad,最小的高可用配置,是2台服务器。
三,elasticsearch核心概念VS数据库核心概念 Elasticsearch 数据库
Document 行 Type 表 Index 数据库