在第3章 索引底层控制中 控制段合并 一节中,我们探讨了调整Apache Lucene索引段合并过程来满足业务需求的可能性。此外,在第6章 应对突发事件的当I/O过于繁忙——节流功能详解一节中,我们将讨论更多功能的参数配置。然而,为了了解需要调整哪些方面,至少先得看看索引或者索引分片中索引段的结构。
为了更深入地了解Lucene的索引段,ElasticSearch提供了段操作相关的API,通过在执行的HTTP GET请求中附带\_segments REST端点,就可以调用相关的API了。比如,我们想了解集群分片中的所有的段信息,可以执行如下的命令:
curl -XGET 'localhost:9200/_segments'如果想查看mastering索引的段信息,就应该执行如下的命令:
curl -XGET 'localhost:9200/mastering/_segments'我们也可以同时查看多个索引的段信息,通过如下的命令即可:
curl -XGET 'localhost:9200/mastering,books/_segments'
调用segments API的返回信息都是基于分片的。这是因为我们的索引都是由一个或多个分片(以及分片副本)组成,而且众所周知每个分片都是一个完整的Apache Lucene的物理索引。我们假定我们有一个名为mastering的索引,而且索引中有一些文档。在索引创建时,我们已经指定索引由单个分片构成,而且没有分片副本:由于只是用于测试的索引,这样做没有什么问题。我们来看一下,执行如下的命令后,索引段信息会是什么样:
curl -XGET 'localhost:9200/_segments?pretty'
返回的JSON格式信息如下(有部分删减):
{
"ok" : true,
"_shards" : {
"total" : 1,
"successful" : 1,
"failed" : 0
},
"indices" : {
"mastring" : {
"shards" : {
"0" : [ {
"routing" : {
"state" : "STARTED",
"primary" : true,
"node" : "Cz4RFYP5RnudkXzSwe-WGw"
},
"num_committed_segments" : 1,
"num_search_segments" : 8,
"segments" : {
"_0" : {
"generation" : 0,
"num_docs" : 62,
"deleted_docs" : 0,
"size" : "5.7kb",
"size_in_bytes" : 5842,
"committed" : true,
"search" : true,
"version" : "4.3",
"compound" : false
},
...
"_7" : {
"generation" : 7,
"num_docs" : 1,
"deleted_docs" : 0,
"size" : "1.4kb",
"size_in_bytes" : 1482,
"committed" : false,
"search" : true,
"version" : "4.3",
"compound" : false
}
}
} ]
}
}
}
}
我们可以看到,ElasticSearch返回了大量可供分析的信息。最顶层的息是索引名称和和分片。在本例中,通过返回信息可以看到,我们有一个编号为0的分片,该分片已经启动而且正在运行("state" : "STARTED" ) ,该分片是一个主分片 ("primary" : true) ,该分片位于id为 Cz4RFYP5RnudkXzSwe-WGw的节点上。接下来的信息是关于已提交段的数量(通过num_commited_segments属性)和搜索段的数量(num_search_segments属性)。已提交段表示该段上面运行了一个提交的命令,即段数据已经持久化到硬盘,而且是只读的了。搜索段即可用于搜索的段。接下来是一系列的段信息,每个段中包含的信息如下:
当看到segments API返回的JSON格式的文本信息时,我们大脑中冒出的第一个想法可能是:如果信息是可视化的,那就很直观明了了。如果想实现这种想法,随时可以自己去做。现在已经有一个现成的名为SegmentSpy的插件(https://github.com/polyfractal/elasticsearch-segmentspy )利用我们前面提到的API实现了段信息的可视化功能。
安装该插件后,将Web浏览器指向到http://localhost:9200/_plugin/segmentspy/ ,然后选择目标索引,我们就可以看到类似如下的屏幕截图
正如读者所见,该插件将segments API返回的信息进行了可视化的操作,这样的话想查看段信息时就能够用得上了。只是该插件没有解析ElasticSearch返回的JSON对象中的所有信息。