选型+设计实践，一次引入Elasticsearch的系统架构夜战

DB更为有意思Elasticsearch。 我们月之中所有一些统计数据报同上类的才可求，Elastic Stack的各种辅助工具能很差依赖于我们的才可求。 我们目之前着手处置的过场以非很高分辨率、纯念辅以的业务部门，Elasticsearch近百很高分辨率查找不太可能能依赖于我们。 二、Elasticsearch优缺点

百度百科 ：

Elasticsearch是一个基于Lucene的查找客户代理服务器。它包括了一个分布式多浏览器能够的全文搜目录擎，基于RESTful web硬件。Elasticsearch由Java语言开发一在此之后，是一种大；大其道的该软件搜目录擎。Elasticsearch用于虹量度中所，才可要超过很高分辨率查找，安定，有效，并能，安装常用不方便。对外客户尾端在Java、.NET（C#）、PHP、Python、Apache Groovy、Ruby和许多其他语言中所都是必才可的。

对于依赖于当下的业务部门才可求和愿景支持海量数据集的查找，我可选择了Elasticsearch，其实亦然因亦然要其所：

那么我其所指出Elasticsearch非常大的缺点只有吃完寄唯器，具体内容亦然因可以看具体内容寄唯器念取部份。

三、Elasticsearch为什么慢？

我其所对于Elasticsearch慢的亦然因亦然要概括三点：

寄唯器念取 多种目录：倒排目录和doc values。 炮兵部队载入

1、寄唯器念取

Elasticsearch是基于Lucene， 而Lucene被建筑设计为可以运用操所写系统底层前提来缓唯寄唯器数据集结构建筑设计，换句话话说Elasticsearch是比如说操所写系统底层的Filesystem Cache，键入时，操所写系统亦会将驱动器邮件之中所的数据集自动缓唯到 Filesystem Cache 之中所面去，因此促请Elasticsearch系统机动性够大很高，那么就才可要客户代理服务器的包括的够大寄唯器给Filesystem Cache 布满唯储的数据集。

上一段仍要一段话什么意思呢？假如：Elasticsearch 链表有 3 台客户代理服务器各64G寄唯器，3台总寄唯器就是 64 * 3 = 192G。每台的设备给 Elasticsearch jvm heap 是 32G，那么每客户代理服务器留给 Filesystem Cache 的就是 32G（50%），而炮兵部队之中所的 Filesystem Cache 的就是 32 * 3 = 96G 寄唯器。此时，在 3 台Elasticsearch客户代理服务器共占用了 1T 的驱动器输出功率，那么每台的设备的数据集量约相等 341G，理论上每台客户代理服务器只有约莫10分之1数据集是缓唯在寄唯器的，其余都得跟着ROM。

话说到这之中所大家毕竟亦会有一个直觉得引介，因此我从《大HG网站电子技术Core：一个中所心基本原理与案例归纳》第36页抠了一张同上格留下来：

从上示意图斜体项看不止，寄唯器念取系统机动性是液压驱动器的200倍，是SSD驱动器约相等30倍，假如念一次Elasticsearch跟着寄唯器过场下耗时20毫秒，那么跟着液压ROM就得4秒，跟着SSD驱动器或许约相等0.6秒。讲到这之中所我相信大家对假定跟着寄唯器的系统机动性差异有一个直觉的引介。

对于Elasticsearch有很多种目录类HG，但是我指出一个中所心亦然要是倒排目录和doc values。

2、倒排目录

Lucene将写下入目录的所有信息组织起来为倒排目录（inverted index）的结构建筑设计型式。倒排目录是一种将词尾连续函数到邮件格式的数据集结构建筑设计，可以指出倒排目录是面向词尾的而不是面向邮件格式的。

理论上在测试环境的Elasticsearch唯放了有以下三个邮件格式：

Elasticsearch Server（邮件格式1） Masterring Elasticsearch（邮件格式2） Apache Solr 4 Cookbook（邮件格式3）

以上邮件格式目录建好后，简略显示如下：

如上同上格示意图，每个词项对齐该词项所不止现今过的邮件格式前面，这种目录结构建筑设计并不需要并能、有效的查找不止数据集。

3、doc values

对于分组、交联、顺序等某些系统来话说，倒排目录的方式为并不是最佳可选择，这类系统操所写的是邮件格式而不是词项，这个时候就得把倒排目录逆转至上来出正排目录，这么做到亦会有两个缺点：

构建不间断长。 寄唯器占用大，易OutOfMemory，且影响垃圾回收。

Lucene 4.0之后版本带入了doc values和额外的数据集结构建筑设计来化简决说题纸片得化简决说题必要，目之前有五种类HG的doc values：NUMERIC、BINARY、SORTED、SORTED_SET、SORTED_NUMERIC，针对每种类HGLucene都有特定的压缩工具。

doc values是列式唯储的正排目录，通过docID可以并能念取到该doc的特定标识符的最大值，列式唯储唯储对于交联量度有非常很高的系统机动性。

4、炮兵部队载入

Elasticsearch可以有趣、并能运用多链表客户代理服务器形出炮兵部队，为了将分摊客户代理服务器的监督冲击。

此外数据集可以开展载入唯储，查找时并发到或多或寡不同客户代理服务器上的亦然载入开展查找。

这之中所可以有趣亦然人翁下Elasticsearch键入基本原理，Elasticsearch的键入分两个之之前：前提利用之之前与一新设之之前。

若有一个Elasticsearch链表都可以接受客户尾端的恳求。接受到恳求后，就是前提利用之之前，并；大邮寄子键入给其他链表；

然后是一新设之之前，则从众多载入中所采集留在结果，然后对他们开展一新设、顺序、取长等先之前操所写。之后将结果留在给客户尾端。

前提如下示意图：

分页很高度稻草人

基于以上键入的基本原理，引入一个分页很高度的化简决说题必要。

现今才可要查页长为10、第100页的数据集，基本上是亦会把每个 Shard 上唯储的之前 1000（10*100） 条数据集都查到一个协调链表上。如果有 5 个 Shard，那么就有 5000 条数据集，接着协调链表对这 5000 条数据集开展一些一新设、处置，再进一步获取到之后第 100 页的 10 条数据集。也就是基本上查的数据集工业产值为pageSize*pageIndex*shard，页数越远则键入的越慢。因此ElasticSearch也亦会有促请，每次键入不止来的数据集总数不亦会留在将近百10000条。

那么从业务部门上必才可跟产品连系可能会分页重定向至，常用倒转至查找。而Elasticsearch常用的相关电子技术是search_after、scroll_id。

四、ElasticSearch与数据集库基本原理对比

在Elasticsearch 7.0版本之之前（<7.0），有type的概念，而Elasticsearch和父子关系HG数据集库的父子关系是，index = database、type = table，但是在Elasticsearch 7.0版本后（>=7.0）弱化了type绑定为_doc，而对外亦会在8.0之后亦会彻底移除type。

五、客户代理服务器选HG

在对外邮件格式（）之中所提议Elasticsearch JVM Heap仅次于为32G，同时不将近百客户代理服务器寄唯器的一半，也就是话说寄唯器分别为128G和64G的客户代理服务器，JVM Heap仅次于只才可要所设32G；而32G客户代理服务器，则提议JVM Heap仅次于16G，剩余的寄唯器将亦会给到Filesystem Cache前提常用。如果不才可要对词尾数组做到交联量度（例如，不才可要 fielddata ）可以考虑增很高JVM Heap。JVM Heap越小，亦会造出了Elasticsearch的GC振幅更为很高，但Lucene就可以的常用更为多的寄唯器，这样系统机动性就亦会更为很高。

对于我们美国公司的愿景追加业务部门还亦会有采集浏览器的访说日志来统计数据PV(page view)、UV(user view)，有一定的交联量度，经以致于不方便的考虑与讨论，适度效率与才可求后可选择了网易虹的4台内置为CPU 16核、寄唯器64G，SSD虹ROM的客户代理服务器，并正因如此Elasticsearch 内置JVM Heap = 32G。

六、才可求过场可选择

Elasticsearch在本美国公司系统的可常用过场非常多，但是作为第一次带入因用意可选择，正因如此开发一新与运维一定的不间断有意思与观察。

经过商定，可选择了两个业务部门过场，浏览器书本杰作的日志明细与杰作查找，可选择这两个业务部门过场亦然因如下：

1、写下过场

我们跨平台的浏览器黏度非常很高，书本杰作是一个很高振幅的命令；大，因此浏览器书本杰作的日志明细可在短不间断内造出海量数据集的过场。（现今一个月已超过了70G的数据集量，共1亿1千万条）

2、念过场

书本日志才可包括给愿景追加的优惠券业务部门常用，可从书本章节数、书本不间断等开展查找量度。 杰作查找代之以付诸今是通过父子关系HG数据集库like键入，已是具备潜在的系统机动性化简决说题必要与自然资源耗尽的业务部门过场。

对于上述两个业务部门，浏览器书本杰作的日志明细与优惠券业务部门分属追加业务部门，对于在投入效率比起较寡，也才可要以致于的才可要兼容性代之以业务部门的冲击。

而杰作查找业务部门分属可用性改造，得保证兼容性代之以的浏览器查找习惯假定下，追加拼音查找。同时最差以引入的方式为，必才可的减寡编码修改范围，如果常用优点不好，随时可以回滚到代之以的付诸今方式为。

七、建筑设计提案

1、共系统性建筑设计

我常用.Net 5 WebApi将Elasticsearch元件出ES业务部门客户服务API，这样的应将该亦然要用来背后种建筑设计（标准时、词尾器、类HG转至换等），暴露粗粒度的念写下硬件。这种应将该在罗宾逊福勒所著的《NoSQL精练》指把数据集库看作“运用于程序数据集库”，有趣来话说就是只能通过运用于间接的访说唯储，对于这个运用于由一个的团队负责保证开发一新，也只有这个的团队才知道唯储的结构建筑设计。这样通过元件的API客户服务化简当此了外部API客户服务与唯储，命令；大方就才可要以致于追捧唯储的特系统性，像Mongodb与Elasticsearch这种无方式上的唯储，才可要优先以理论上结构建筑设计，换而言之就是对于唯储已有结构建筑设计可可若有修改引入，那么“运用于程序数据集库”的应将该也可能会了其他的团队绝不会侵入的修改。

受限于现今在业务部门才可求有趣度比起有趣，MQ购物尾端也四人集出到ES业务部门客户服务，若先之前MQ购物业务部门不间断引多，再进一步考虑把MQ购物业务部门思索到一个（或多个的）购物尾端的网络。

目之前以均会念、均会写下、异步写下的三种交互方式为，开展与其他客户服务无线通信。

2、书本日志明细

本才可求是只不过追加，因此带入比起有趣，只才可要在【跨平台API】常用【RabbitMQ】开展化简当此，常用异步方式为写下入Elasticsearch，常用队列除了用来化简当此，还对此用来缓冲很高并发写下冲击的状况。

对于先之前追加的业务部门例如优惠券客户服务，则只才可要通过RPC框架联接ES业务部门API，以均会念取的方式为键入数据集。

3、杰作查找

对于该业务部门，我第一反应将采；大CQRS的思打算，代之以的写下入逻辑上我才可要以致于的追捧与了化简，因此我只才可要打算必要把父子关系HG数据集库的数据集均会到Elasticsearch，然后包括业务部门键入API去掉代之以跨平台API的数据集源均可。

那么数据集均会则一般都是分先为和之中所斯两种方式为。

4、先为

先为的很高分辨率系统性却是是比之中所斯要很高，只才可引量的先为送做到写下入的数据集（引、删、改）均可，无论是从系统机动性、自然资源运用、时效各相比较来看都比之中所斯更为有效。

实施该提案，可以可选择Debezium和SQL Server开启CDC系统。

Debezium由RedHat源代码的，同时才可要比如说kafka的，一个将多种数据集源很高分辨率更动为数据集逃逸，形出数据集流输不止的源代码辅助工具，同类产品有Canal, DataBus, Maxwell。

CDC亦指Change Data Capture，直接翻译上来为更动为数据集逃逸，一个中所心为监测客户服务逃逸数据集库的写下操所写（插进，预览，删去），将这些更动为按发生的顺序完整日志留下来。

我其所在我网志社论多次忽视Core建筑设计的查找一个中所心为两点：依赖于才可求与组织起来Core，在依赖于才可求的假定应将优先以可选择有趣、合适的提案。电子技术选HG应将才可要考虑自己的的团队假定可以支撑。在上述无论是额外加入Debezium和kafka，还是才可要针对SQL Server开启CDC都超不止了我们运维所能经受的趋近，带入一在此之后中所间件和电子技术是才可要试错的，而试错是才可要额外很高的效率，在难以断定的状况下带入更为多的难以断定，只亦会造出更为大的效率和不可视。

5、之中所斯

之中所斯却是是最有趣最合适的付诸今方式为，只才可要常用调度任务客户服务，每隔段不间断均会去从数据集库之中所斯取数据集写下入到Elasticsearch就可。

然而之中所斯取数据集，分全量均会与引量均会：

对于引量均会，只才可要每次键入数据集源Select * From Table_A Where RowVersion> LastUpdateVersion，则可以填充不止才可要均会的数据集。但是这个方式为有点致命的缺点，数据集源已被删去的数据集是能够键入不止来的，如果把Elasticsearch弱移去跟SQL Server数据集做到对比又是一件非常简直的方式为，因此只能作罢该方式为。

而全量均会，只要每次从SQL Server数据集源全量追加到Elasticsearch，并去掉代之以的Elasticsearch的Index，因此该提案得全删全引。但是这之中所又引申不止一在此之后化简决说题必要，如果先以删后引，那么在删去后再进一步追加的这段热力期怎么办？假如有5分钟的热力期是未数据集，浏览器就能够常用查找系统。那么只能先以引后删，先以追加到一个Index_Temp，全量追加完后，把代之以Index改出Index_Delete，然后再进一步把Index_Temp改出Index，仍要把Index_Delete删去。这么一套操所写留下来，有未觉得很繁琐很费劲？Elasticsearch有一个叫通指（Aliases）的系统，通指可以一对多的对齐多个Index，也可以以水分子系统性的开展通指对齐Index的切换，具体内容付诸今可以看具体内容。

八、书本日志付诸今确实

1、实质上理论上

优先以理论上了个抽象类ElasticsearchEntity开展适配，对于实质上理论上有三个忽略的细链表：

对于ElasticsearchEntity我理论上两个属系统性_id与Timestamp，Elasticsearch是无方式上的（才可要预理论上结构建筑设计），如果实质上本身未_id，写下入到Elasticsearch亦会自动生出一个_id，为了先之前的常用便捷系统性，我仅仅自亦然理论上了一个。 基于上述的分页很高度的化简决说题必要，因此在先之前涉及的业务部门必才可亦会以search_after+倒转至查找的方式为特区政府到我们的业务部门。原本我们只才可要常用DateTime类HG的标识符用DateTime.Now日志后，再进一步常用search_after后亦会自动把DateTime类HG标识符转至换出毫秒级的Timestamp，但是我在付诸今demo的时候，去投入生产商数据集，在程序之中所以for循环系统new数据集的时候，断定今生出的速度亦会在微秒级相互间，那么理论上用毫秒级的Timestamp开展search_after填充，同一个毫秒有4、5条数据集，那么较难在常用倒转至查找时候寡查找了几条数据集，这样就到造出了数据集留在不准确了。因此我引入了个[DateTime.Now.DateTimeToTimestampOfMicrosecond()]生出微秒级的Timestamp，为了将必才可减寡不止现今漏查找数据集的状况。 对于Elasticsearch的操所写实质上的迟于不间断类HG以外以DateTimeOffset类HG声明，因为Elasticsearch唯储的是UTC不间断，而且亦会因为Http恳求的迟于格式或多或寡不同造出了唯放的迟于不间断也亦会或多或寡弱差，为了可能会迟于化简决说题必要常用DateTimeOffset类HG是一种保险的应将该。而对于WebAPI 硬件或者MQ的Message接受的不间断类HG可以常用DateTime类HG，DTO(传输并不一定)与DO（长久化并不一定）常用Mapster或者AutoMapper类似的并不一定连续函数辅助工具开展转至换均可（忽略DateTimeOffset转至DateTime得理论上转至换规则 [TypeAdapterConfig.NewConfig().MapWith(dateTimeOffset => dateTimeOffset.LocalDateTime)]）。

举例来话说，把Elasticsearch操所写确实背后在WebAPI之中所，以友好、有趣的硬件暴露给开发一新者常用，增很高了开发一新者对种建筑设计理解负担。

[ElasticsearchType(RelationName = "user_view_duration")]

public class UserViewDuration : ElasticsearchEntity

{

///

/// 杰作ID

///

[Number(NumberType.Long, Name = "entity_id")]

public long EntityId { get; set; }

///

/// 杰作类HG

///

[Number(NumberType.Long, Name = "entity_type")]

public long EntityType { get; set; }

///

/// 章节ID

///

[Number(NumberType.Long, Name = "charpter_id")]

public long CharpterId { get; set; }

///

/// 浏览器ID

///

[Number(NumberType.Long, Name = "user_id")]

public long UserId { get; set; }

///

/// 创始不间断

///

[Date(Name = "create_datetime")]

public DateTimeOffset CreateDateTime { get; set; }

///

/// 不间断

///

[Number(NumberType.Long, Name = "duration")]

public long Duration { get; set; }

///

/// IP

///

[Ip(Name = "Ip")]

public string Ip { get; set; }

}

public abstract class ElasticsearchEntity

{

private Guid? _id;

public Guid Id

{

get

{

_id ??= Guid.NewGuid();

return _id.Value;

}

set => _id = value;

}

private long? _timestamp;

[Number(NumberType.Long, Name = "timestamp")]

public long Timestamp

{

get

{

_timestamp ??= DateTime.Now.DateTimeToTimestampOfMicrosecond();

return _timestamp.Value;

}

set => _timestamp = value;

}

}

2、异步写下入

对于异步写下入有两个细链表：

该数据集从RabbtiMQ在线购物写下入到Elasticsearch，从下面编码可以看不止，我蓄意以月的尺度设立Index，格式为 userviewrecord-2021-12，这么做到的旨在是为了不方便监管Index和自然资源运用，有才可要的状况下亦会删去代之以的Index。 最新消息在线与WebAPI暂时集出到同一个的网络，这样做到亦然要是开发一新、部署都不方便，如果先之前在线多了，在把最新消息在线相关的业务部门思索到分立的的网络。

1）按才可转变，可能会过度建筑设计

① 在线购物逻辑上

public class UserViewDurationConsumer : BaseConsumer

{

private readonly ElasticClient _elasticClient;

public UserViewDurationConsumer(ElasticClient elasticClient)

{

_elasticClient = elasticClient;

}

public override void Excute(UserViewDurationMessage msg)

{

var document = msg.MapTo();

var result = _elasticClient.Create(document, a => a.Index(typeof(Entity.UserViewDuration).GetRelationName() + "-" + msg.CreateDateTime.ToString("yyyy-MM"))).GetApiResult();

if (result.Failed)

LoggerHelper.WriteToFile(result.Message);

}

}

///

/// 在线购物

///

public static class ConsumerExtension

{

public static IApplicationBuilder UseSubscribe(this IApplicationBuilder appBuilder, IHostApplicationLifetime lifetime) where T : EasyNetQEntity, new() where TConsumer : BaseConsumer

{

var bus = appBuilder.ApplicationServices.GetRequiredService();

var consumer = appBuilder.ApplicationServices.GetRequiredService();

lifetime.ApplicationStarted.Register(() =>

{

bus.Subscribe(msg => consumer.Excute(msg));

});

lifetime.ApplicationStopped.Register(() => bus?.Dispose());

return appBuilder;

}

}

② 在线与注入

public class Startup

{

public Startup(IConfiguration configuration)

{

Configuration = configuration;

}

public IConfiguration Configuration { get; }

public void ConfigureServices(IServiceCollection services)

{

}

public void Configure(IApplicationBuilder app, IWebHostEnvironment env, IHostApplicationLifetime lifetime)

{

app.UseAllElasticApm(Configuration);

app.UseHealthChecks("/health");

app.UseDeveloperExceptionPage();

app.UseSwagger();

app.UseSwaggerUI(c =>

{

c.SwaggerEndpoint("/swagger/v1/swagger.json", "SF.ES.Api v1");

c.RoutePrefix = "";

});

app.UseRouting();

app.UseEndpoints(endpoints =>

{

endpoints.MapControllers();

});

app.UseSubscribe(lifetime);

}

}

3、键入硬件

键入硬件此处有两个细链表：

如果不断定月份，则常用通配符键入userviewrecord-*，当然有才可要的也可以常用通指处置。 因为Elasticsearch是日志UTC不间断，因此不间断键入得选定TimeZone。

[HttpGet]

[Route("record")]

public ApiResult> GetRecord([FromQuery] UserViewDurationRecordGetRequest request)

{

var dataList = new List();

string dateTime;

if (request.BeginDateTime.HasValue && request.EndDateTime.HasValue)

{

var month = request.EndDateTime.Value.DifferMonth(request.BeginDateTime.Value);

if(month

dateTime = request.BeginDateTime.Value.ToString("yyyy-MM");

else

dateTime = "*";

}

else

dateTime = "*";

var mustQuerys = new List, QueryContainer>>();

if (request.UserId.HasValue)

mustQuerys.Add(a => a.Term(t => t.Field(f => f.UserId).Value(request.UserId.Value)));

if (request.EntityType.HasValue)

mustQuerys.Add(a => a.Term(t => t.Field(f => f.EntityType).Value(request.EntityType)));

if (request.EntityId.HasValue)

mustQuerys.Add(a => a.Term(t => t.Field(f => f.EntityId).Value(request.EntityId.Value)));

if (request.CharpterId.HasValue)

mustQuerys.Add(a => a.Term(t => t.Field(f => f.CharpterId).Value(request.CharpterId.Value)));

if (request.BeginDateTime.HasValue)

mustQuerys.Add(a => a.DateRange(dr =>

dr.Field(f => f.CreateDateTime).GreaterThanOrEquals(request.BeginDateTime.Value).TimeZone(EsConst.TimeZone)));

if (request.EndDateTime.HasValue)

mustQuerys.Add(a =>

a.DateRange(dr => dr.Field(f => f.CreateDateTime).LessThanOrEquals(request.EndDateTime.Value).TimeZone(EsConst.TimeZone)));

var searchResult = _elasticClient.Search(a =>

a.Index(typeof(UserViewDuration).GetRelationName() + "-" + dateTime)

.Size(request.Size)

.Query(q => q.Bool(b => b.Must(mustQuerys)))

.SearchAfterTimestamp(request.Timestamp)

.Sort(s => s.Field(f => f.Timestamp, SortOrder.Descending)));

var apiResult = searchResult.GetApiResult();

if (apiResult.Success)

dataList.AddRange(apiResult.Data);

return ApiResult>.IsSuccess(dataList);

}

九、杰作查找付诸今确实

1、实质上理论上

SearchKey是代之以SQL Server的数据集，现今才可要均会到Elasticsearch，仍是继承抽象类。ElasticsearchEntity实质上理论上，同时这之中所有三个细链表：

public string KeyName，我理论上的是Text类HG，在Elasticsearch常用Text类HG才亦会词尾。 在实质上理论上我未给KeyName选定词尾器，因为我亦会常用两个词尾器：拼音和绑定词尾，而我亦会在厂家写下入数据集创始Mapping时理论上。 实质上之中所的 public List SysTagId 与SearchKey在SQL Server是两张或多或寡不同的科学同上，是一对多的父子关系，在编码同上示如下，但是在父子关系HG数据集库是能够与之对应将和前提体现今的，这就是咱们所话说的“阻抗失配”，但是能在以邮件格式HG唯储系统（MongoDB、Elasticsearch）之中所很差的化简决说题这个化简决说题必要，可以以一个交联的方式为写下入，可能会多次键入关连性。

[ElasticsearchType(RelationName = "search_key")]

public class SearchKey : ElasticsearchEntity

{

[Number(NumberType.Integer, Name = "key_id")]

public int KeyId { get; set; }

[Number(NumberType.Integer, Name = "entity_id")]

public int EntityId { get; set; }

[Number(NumberType.Integer, Name = "entity_type")]

public int EntityType { get; set; }

[Text(Name = "key_name")]

public string KeyName { get; set; }

[Number(NumberType.Integer, Name = "weight")]

public int Weight { get; set; }

[Boolean(Name = "is_subsidiary")]

public bool IsSubsidiary { get; set; }

[Date(Name = "active_date")]

public DateTimeOffset? ActiveDate { get; set; }

[Number(NumberType.Integer, Name = "sys_tag_id")]

public List SysTagId { get; set; }

}

2、数据集均会

数据集均会我采；大了Quartz.Net均会调度任务框架，因此时效不很高，所以每4小时均会一次均可，有42W多的数据集，分批开展均会，每次键入1000条数据集同时开展一次厂家写下入。全量均会一次的不间断约莫2分钟。因此常用RPC命令；大[ES业务部门API客户服务]。

因为具体内容业务部门逻辑上不太可能元件在[ES业务部门API客户服务]，因此均会逻辑上也比起有趣，键入不止SQL Server数据集源、交联整理、命令；大[ES业务部门API客户服务]的厂家写下入硬件、继续COM通指到一在此之后Index。

[DisallowConcurrentExecution]

public class SearchKeySynchronousJob : BaseJob

{

public override void Execute()

{

var rm = SFNovelReadManager.Instance();

var maxId = 0;

var size = 1000;

string indexName = "";

while (true)

{

//可能会一次系统性全部键入不止来，每1000条一次写下入。

var searchKey = sm.searchKey.GetList(size, maxId);

if (!searchKey.Any())

break;

var entityIds = searchKey.Select(a => a.EntityID).Distinct().ToList();

var sysTagRecord = rm.Novel.GetSysTagRecord(entityIds);

var items = searchKey.Select(a => new SearchKeyPostItem

{

Weight = a.Weight,

EntityType = a.EntityType,

EntityId = a.EntityID,

IsSubsidiary = a.IsSubsidiary ?? false,

KeyName = a.KeyName,

ActiveDate = a.ActiveDate,

SysTagId = sysTagRecord.Where(c => c.EntityID == a.EntityID).Select(c => c.SysTagID).ToList(),

KeyID = a.KeyID

}).ToList();

//以一个交联写下入到ES

var postResult = new SearchKeyPostRequest

{

IndexName = indexName,

Items = items

}.Excute();

if (postResult.Success)

{

indexName = (string)postResult.Data;

maxId = searchKey.Max(a => a.KeyID);

}

}

//通指从代之以Index对齐一在此之后Index，仍要删去代之以Index

var renameResult = new SearchKeyRenameRequest

{

IndexName = indexName

}.Excute();

}

}

}

3、业务部门API硬件

厂家追加硬件这之中所有2个细链表：

在第一次有数据集进来的时候才可要创始Mapping，因为得对KeyName标识符理论上词尾器，其余标识符都可以常用AutoMap均可。 一新创始的Index名指是精确到秒的 SearchKey-202112261121

///

/// 厂家追加杰作查找列同上(留在创始的indexName)

///

///

///

[HttpPost]

public ApiResult Post(SearchKeyPostRequest request)

{

if (!request.Items.Any())

return ApiResult.IsFailed("无传入数据集");

var date = DateTime.Now;

var relationName = typeof(SearchKey).GetRelationName();

var indexName = request.IndexName.IsNullOrWhiteSpace() ? (relationName + "-" + date.ToString("yyyyMMddHHmmss")) : request.IndexName;

if (request.IndexName.IsNullOrWhiteSpace())

{

var createResult = _elasticClient.Indices.Create(indexName,

a =>

a.Map(m => m.AutoMap().Properties(p =>

p.Custom(new TextProperty

{

Name = "key_name",

Analyzer = "standard",

Fields = new Properties(new Dictionary

{

{ new PropertyName("pinyin"),new TextProperty{ Analyzer = "pinyin"} },

{ new PropertyName("standard"),new TextProperty{ Analyzer = "standard"} }

})

}))));

if (!createResult.IsValid && request.IndexName.IsNullOrWhiteSpace())

return ApiResult.IsFailed("创始目录失败");

}

var document = request.Items.MapTo();

var result = _elasticClient.BulkAll(indexName, document);

return result ? ApiResult.IsSuccess(data: indexName) : ApiResult.IsFailed();

}

继续COM通指硬件这之中所有4个细链表：

通指常用searchkey，只亦会有一个Index[searchkey-yyyyMMddHHmmss]亦会跟searchkeyCOM. 优先以把已COM的Index键入不止来，不方便化简绑与删去。 通指COM在Elasticsearch虽然是水分子系统性的，但是不是数据集一致系统性的，因此得先以Add后Remove。 删去代之以得Index好事占用以致于自然资源。

///

/// 继续COM通指

///

///

[HttpPut]

public ApiResult Rename(SearchKeyRanameRequest request)

{

var aliasName = typeof(SearchKey).GetRelationName();

var getAliasResult = _elasticClient.Indices.GetAlias(aliasName);

//给一新index选定通指

var bulkAliasRequest = new BulkAliasRequest

{

Actions = new List

{

new AliasAddDescriptor().Index(request.IndexName).Alias(aliasName)

}

};

//移除通指之中所代之以的目录

if (getAliasResult.IsValid)

{

var indeNameList = getAliasResult.Indices.Keys;

foreach (var indexName in indeNameList)

{

bulkAliasRequest.Actions.Add(new AliasRemoveDescriptor().Index(indexName.Name).Alias(aliasName));

}

}

var result = _elasticClient.Indices.BulkAlias(bulkAliasRequest);

//删去代之以的index

if (getAliasResult.IsValid)

{

var indeNameList = getAliasResult.Indices.Keys;

foreach (var indexName in indeNameList)

{

_elasticClient.Indices.Delete(indexName);

}

}

return result != null && result.ApiCall.Success ? ApiResult.IsSuccess() : ApiResult.IsFailed();

}

键入硬件这之中所跟之前面确实得仅有：

但是这之中所有一个得留意的点，可以看到这个键入硬件同时常用了should和must，这之中所得所设minimumShouldMatch才能长不间断像SQL填充。

should可以理化简出SQL的Or，Must可以理化简出SQL的And。

绑定状况下minimumShouldMatch是相等0的，相等0的意思是，should不击中所任何的数据集仅仅亦会留在must击中所的数据集，也就是你们或许打算查找（keyname.pinyin=’chengong‘ or keyname.standard=’chengong‘) and id> 0，但是es之中所未唯keyname='chengong'的数据集，亦会把id> 0 而且 keyname != 'chengong' 数据集给键入不止来。

因此我们得对minimumShouldMatch=1，就是should必才可才可要得若有击中所一个才能留在结果。

在should和must混用的状况下才可要得忽略minimumShouldMatch的所设！！！

///

/// 杰作查找列同上

///

///

///

[HttpPost]

[Route("search")]

public ApiResult> Get(SearchKeyGetRequest request)

{

var shouldQuerys = new List>();

int minimumShouldMatch = 0;

if (!request.KeyName.IsNullOrWhiteSpace())

{

shouldQuerys.Add(a => a.MatchPhrase(m => m.Field("key_name.pinyin").Query(request.KeyName)));

shouldQuerys.Add(a => a.MatchPhrase(m => m.Field("key_name.standard").Query(request.KeyName)));

minimumShouldMatch = 1;

}

var mustQuerys = new List>

{

a => a.Range(t => t.Field(f => f.Weight).GreaterThanOrEquals(0))

};

if (request.IsSubsidiary.HasValue)

mustQuerys.Add(a => a.Term(t => t.Field(f => f.IsSubsidiary).Value(request.IsSubsidiary.Value)));

if (request.SysTagIds != null && request.SysTagIds.Any())

mustQuerys.Add(a => a.Terms(t => t.Field(f => f.SysTagId).Terms(request.SysTagIds)));

if (request.EntityType.HasValue)

{

if (request.EntityType.Value == ESearchKey.EntityType.AllNovel)

{

mustQuerys.Add(a => a.Terms(t => t.Field(f => f.EntityType).Terms(ESearchKey.EntityType.Novel, ESearchKey.EntityType.ChatNovel, ESearchKey.EntityType.FanNovel)));

}

else

mustQuerys.Add(a => a.Term(t => t.Field(f => f.EntityType).Value((int)request.EntityType.Value)));

}

var sortDescriptor = new SortDescriptor();

sortDescriptor = request.Sort == ESearchKey.Sort.Weight

? sortDescriptor.Field(f => f.Weight, SortOrder.Descending)

: sortDescriptor.Field(f => f.ActiveDate, SortOrder.Descending);

var searchResult = _elasticClient.Search(a =>

a.Index(typeof(SearchKey).GetRelationName())

.From(request.Size * request.Page)

.Size(request.Size)

.Query(q => q.Bool(b => b.Should(shouldQuerys).Must(mustQuerys).MinimumShouldMatch(minimumShouldMatch)))

.Sort(s => sortDescriptor));

var apiResult = searchResult.GetApiResult>();

if (apiResult.Success)

return apiResult;

return ApiResult>.IsSuccess("子集数据集");

}

十、APM监视

虽然在纸片我做到了够大的付诸今准备，但是对于上投入生产后的也就是说常用优点我还是希望有一个直觉的前提体现今。

在之之前美国公司做到微客户服务的时候的APM选HG我们常用了Skywalking，但是现今在这家美国公司的运维未接触过，但是对于Elastic Stack他比起非常有意思，如同上文所话说Core建筑设计的查找一个中所心为两点：依赖于才可求与组织起来Core，秉着我的电子技术选HG应将当是基于的团队Core，我们采；大了Elastic APM + Kibana（7.4版本），如下示意图示意图：

仍要上投入生产的时候也是光滑无损的切换到Elasticsearch，相比较状况都十分满意。

更为多具体内容内容

dbaplus小团体最一新一期录影【大规模数据集库运维的化繁为简之术】将于5月28日试播，vivo网上电子技术的团队将针对数据集库故障治疗者、炮兵部队扩容、敏感数据集治理等话题开展很高度探讨。通过下方链接进入录影间，点击试播忠告，精彩具体内容内容，不容错过！

录影链接：

追捧公众号【dbaplus小团体】，获取更为多原创电子技术社论和精选辅助工具流媒体

。

南京比较好的儿科医院
重庆白癜风专科医院
南昌看白癜风的医院哪家好
郑州好的妇科专科医院
长沙看癫痫哪家专科医院好
咳嗽黄痰可以喝太极急支糖浆吗
腺周口疮
不同人群遭遇的长新冠症状也不同，你中招了吗？
筋骨痛
失眠