MSE事件中心对注册配置中心、微服务治理、云原生网关生成的事件数据进行集成,让您感知所有MSE托管资源的事件变更,并针对异常事件进行自主排查。本文介绍微服务引擎MSE支持的所有事件,并为各事件提供处理建议。
Nacos
事件Code |
事件名称 |
事件等级 |
云监控事件名称 |
事件说明和影响 |
事件处理建议 |
Nacos:TPSRateLimit |
Nacos客户端TPS限流 |
警告 |
Nacos:TPSRateLimit:Normal:Nacos集群客户端TPS过高,即将限流(监视模式) |
客户端访问Nacos引擎的TPS过高,为保护Nacos引擎稳定运行,即将进行请求限流,当前处于监视模式,超出TPS的请求不会被拒绝访问。 |
升级集群配置或扩容节点,并检查是否有错误使用导致TPS过高。如:频繁调用Nacos openAPI,多次创建Nacos Client等问题。 |
严重 |
Nacos:TPSRateLimit:Executing:Nacos客户端TPS限流 |
客户端访问Nacos引擎的TPS过高,为保护Nacos引擎稳定运行,进行请求限流,将导致部分超出TPS的请求被拒绝访问。 |
升级集群配置或扩容节点,并检查是否有错误使用导致TPS过高。如:频繁调用Nacos openAPI,多次创建Nacos Client等问题。 |
||
Nacos:ConfigCapLimit |
Nacos集群配置数限流 |
警告 |
Nacos:ConfigCapLimit:Normal:Nacos集群当前配置数过多,即将限流(监视模式) |
超过Nacos集群默认配置的个数上限(10000个),即将进行配置创建限流,当前处于监视模式,不会禁止创建配置,不影响发布新配置。 |
及时清理不使用的配置内容,同时排查是否存在应用自动发布大量配置的情况。 |
严重 |
Nacos:ConfigCapLimit:Executing:Nacos集群配置数限流 |
超过Nacos集群默认配置的个数上限(10000个),进行配置创建限流,将导致禁止创建配置,影响发布新配置。 |
及时清理不使用的配置内容,同时排查是否存在应用自动发布大量配置的情况。 |
||
Nacos:ServiceCapLimit |
Nacos集群服务数限流 |
警告 |
Nacos:ServiceCapLimit:Normal:Nacos集群服务数过多,即将限流(监视模式) |
注册了过多的服务,达到集群存储上限,为保护Nacos引擎稳定运行,即将进行服务注册限流,当前处于监视模式,不导致无法注册新的服务及服务提供者。 |
升级集群配置或扩容节点,并检查是否存在错误的发布服务,重复发布服务或多次创建Nacos Client等问题。 |
严重 |
Nacos:ServiceCapLimit:Executing:Nacos集群服务数限流 |
注册了过多的服务,达到集群存储上限,为保护Nacos引擎稳定运行,进行服务注册限流,将导致无法注册新的服务及服务提供者。 |
升级集群配置或扩容节点,并检查是否存在错误的发布服务,重复发布服务或多次创建Nacos Client等问题。 |
||
Nacos:ConnectionCapLimit |
Nacos集群连接数限流 |
警告 |
Nacos:ConnectionCapLimit:Normal:Nacos集群连接数过多,即将限流(监视模式) |
有过多的客户端连接到Nacos引擎,达到集群上限,为保护Nacos引擎稳定运行,即将进行新建连接限流,当前处于监视模式,新创建的Nacos Client仍然可以连接到Nacos引擎。 |
升级集群配置或扩容节点,并检查是否存在错误的使用方式,比如:重复多次创建Nacos Client,未关闭Nacos Client导致连接泄漏等问题。 |
严重 |
Nacos:ConnectionCapLimit:Executing:Nacos集群连接数限流 |
有过多的客户端连接到Nacos引擎,达到集群上限,为保护Nacos引擎稳定运行,进行新建连接限流,将导致新创建的Nacos Client无法连接到Nacos引擎。 |
升级集群配置或扩容节点,并检查是否存在错误的使用方式,比如:重复多次创建Nacos Client,未关闭Nacos Client导致连接泄漏等问题。 |
||
Nacos:ParametersIllegalDenied |
Nacos集群请求参数不合法 |
警告 |
Nacos:ParametersIllegalDenied:Normal:Nacos集群请求参数不合法,即将限流(监视模式) |
客户端请求Nacos集群的参数不合法,服务端即将拒绝不合法的参数,当前处于监视模式,仍然会返回正常结果。 |
检查客户端请求参数是否符合规范。 |
严重 |
Nacos:ParametersIllegalDenied:Executing:Nacos集群请求参数不合法,触发限流 |
客户端请求Nacos集群的参数不合法,服务端将拒绝不合法的参数,返回错误码。 |
检查客户端请求参数是否符合规范。 |
||
Nacos:CPUAlert |
Nacos集群CPU使用率过高 |
警告 |
Nacos:CPUAlert:Executing:Nacos集群当前CPU使用率过高 |
Nacos集群CPU使用率过高,负载过大。可能影响后续请求的响应时间,甚至导致请求无法响应。 |
升级集群配置或扩容节点,并检查是否有错误使用导致负载过高。 |
Nacos:MemoryAlert |
Nacos集群内存使用率过高 |
警告 |
Nacos:MemoryAlert:Executing:Nacos集群当前内存使用率过高 |
Nacos集群内存使用率过高,存在OOM Killer的风险。可能导致Nacos节点重启。 |
升级集群配置。 |
Nacos:FullGc |
Nacos集群发生(长时间/多次)FullGC |
警告 |
Nacos:FullGc:Executing:Nacos集群发生(长时间/多次)FullGC |
Nacos集群频繁触发Full GC,容量已不足。可能影响后续请求的响应时间,甚至导致请求无法响应。 |
升级集群配置或扩容节点,并检查是否因操作不当导致容量不足。 |
Nacos:TooManyConfigAlert |
Nacos集群配置数量过多 |
警告 |
Nacos:TooManyConfigAlert:Nacos集群配置数量过多 |
超过Nacos集群默认配置的个数上限(10000个),超过部分将禁止创建配置。可能影响发布新配置。 |
清理无用配置。 |
Nacos:TooManyConfigLongPolling |
Nacos集群配置长轮询数量过多 |
警告 |
Nacos:TooManyConfigLongPolling:Nacos集群配置长轮询数量过多 |
Nacos集群配置中心监听者数量过多,负载过高。可能频繁触发FullGC,影响后续请求的响应时间,甚至导致请求无法响应。 |
升级集群配置或扩容节点,并检查是否因操作不当导致容量不足。 |
Nacos:ProviderDropTooFast |
Nacos集群服务提供者环比下跌比例过高 |
警告 |
Nacos:ProviderDropTooFast:Executing:Nacos集群服务提供者环比下跌比例过高 |
比较当前时间和3分钟前的Nacos集群服务提供者数,发现Nacos集群服务提供者下跌超过50%,可能导致业务上游服务无法找到下游服务提供者。 |
检查是否有大规模应用故障或网络故障。如因预期内的大规模发布而产生,可忽略该事件。 |
Zookeeper
事件Code |
事件名称 |
事件等级 |
云监控事件名称 |
事件说明和影响 |
事件处理建议 |
ZooKeeper:ExceedEphemeralLimit |
ZooKeeper单个session创建临时节点超过限制(limit=2000) |
严重 |
ZooKeeper:ExceedEphemeralLimit:ZooKeeper单个session创建临时节点超过限制(limit=2000) |
单Session节点下创建过多的临时节点。可能导致该Session中新的临时节点创建失败。 |
|
ZooKeeper:FullGc |
ZooKeeper集群发生(长时间/多次)FullGC |
警告 |
ZooKeeper:CMSGc:Executing:ZooKeeper集群发生(长时间/多次)FullGC |
Full GC时间过长。可能导致处理延时增大,响应超时,导致触发自愈重启。 |
|
ZooKeeper:CPUAlert |
ZooKeeper集群CPU使用率过高 |
警告 |
ZooKeeper:CPUAlert:Executing:ZooKeeper集群CPU使用率过高中 |
CPU过高。可能导致处理延时增大,响应超时,导致触发自愈重启 |
容量不足,若持续过高,建议扩容。 |
云原生网关
事件Code |
事件名称 |
事件等级 |
云监控事件名称 |
事件说明和影响 |
事件处理建议 |
Gateway:ElasticScaleOut |
云原生网关弹性扩容 |
警告 |
Gateway:ElasticScaleOut:Failed:云原生网关弹性扩容执行失败 |
执行弹性扩容时,云原生网关会根据扩容所处的状态产生此事件。 |
根据控制台事件详情指引进行排查。 |
信息 |
Gateway:ElasticScaleOut:Executing:云原生网关弹性扩容执行中 |
按需关注。 |
|||
信息 |
Gateway:ElasticScaleOut:Executed:云原生网关弹性扩容执行成功 |
按需关注。 |
|||
Gateway:ElasticScaleIn |
云原生网关弹性缩容 |
警告 |
Gateway:ElasticScaleIn:Failed:云原生网关弹性缩容执行失败 |
执行弹性缩容时,云原生网关会根据缩容所处的状态产生此事件。 |
根据控制台事件详情指引进行排查。 |
信息 |
Gateway:ElasticScaleIn:Executing:云原生网关弹性缩容执行中 |
按需关注。 |
|||
信息 |
Gateway:ElasticScaleIn:Executed:云原生网关弹性缩容执行成功 |
按需关注。 |
|||
Gateway:ElasticOpen |
云原生网关弹性开启 |
警告 |
Gateway:ElasticOpen:Failed:云原生网关弹性开启失败 |
开启自动扩容时,云原生网关会根据开启结果产生此事件。 |
根据控制台事件详情指引进行排查。 |
信息 |
Gateway:ElasticOpen:Executed:云原生网关弹性开启成功 |
按需关注。 |
|||
Gateway:ElasticClose |
云原生网关弹性关闭 |
警告 |
Gateway:ElasticClose:Failed:云原生网关弹性关闭失败 |
关闭自动扩容时,云原生网关会根据关闭结果产生此事件。 |
根据控制台事件详情指引进行排查。 |
信息 |
Gateway:ElasticClose:Executed:云原生网关弹性关闭成功 |
按需关注。 |
|||
Gateway:ElasticStrategyUpdate |
云原生网关弹性策略更新 |
警告 |
Gateway:ElasticStrategyUpdate:Failed:云原生网关弹性策略更新失败 |
自动扩容处于开启状态时,云原生网关会更新自动扩容策略,并根据更新结果产生此事件。 |
根据控制台事件详情指引进行排查。 |
信息 |
Gateway:ElasticStrategyUpdate:Executed:云原生网关弹性策略更新成功 |
按需关注。 |
微服务治理
事件Code |
事件名称 |
事件等级 |
云监控事件名称 |
事件说明和影响 |
事件处理建议 |
Governance:FlowTrafficBlock |
微服务治理应用接口触发流控规则 |
警告 |
Governance:FlowTrafficBlock:Executing:微服务治理应用接口流控规则触发中 |
微服务治理应用配置的接口流控规则触发时,产生此事件。 |
接口出现突发流量,建议持续观察。 |
Governance:CircleBreakerTrafficBlock |
微服务治理应用接口触发熔断规则 |
警告 |
Governance:CircleBreakerTrafficBlock:Executing:微服务治理应用接口熔断规则触发中 |
微服务治理应用配置的熔断规则触发时,会产生此事件。 |
下游接口出现不稳定情况(慢调用、异常服务等),建议检查下游依赖。 |
Governance:ParamsTrafficBlock |
微服务治理应用接口触发热点防护规则 |
警告 |
Governance:ParamsTrafficBlock:Executing:微服务治理应用接口流控规则触发中 |
微服务治理应用配置的热点参数防护规则触发时,产生此事件。 |
出现热点参数调用,建议对相关数据进行预热。 |
Governance:GracefulShutdown |
微服务治理应用无损下线 |
信息 |
Governance:GracefulShutdown:微服务治理应用无损下线 |
微服务治理应用无损下线完成时,产生该事件,即应用接入MSE后无损下线能力自动开启。 |
按需关注。 |
Governance:RegistrationFinish |
微服务治理应用注册上线 |
信息 |
Governance:RegistrationFinish:微服务治理应用无损下线 |
开启无损上线后,微服务治理应用注册上线完成时,产生此事件。 |
按需关注。 |
Governance:WarmupStart |
微服务治理新实例流量预热开始 |
信息 |
Governance:WarmupStart:微服务治理新实例流量预热开始 |
开启无损上线后,微服务治理应用的新实例开始流量预热时,产生此事件。 |
按需关注。 |
Governance:WarmupEnd |
微服务治理新实例流量预热完成 |
信息 |
Governance:WarmupEnd:微服务治理新实例流量预热完成 |
开启无损上线后,微服务治理应用的新实例流量预热完成时,产生此事件。 |
按需关注。 |
Governance:ReadinessFinish |
微服务治理Kubernetes完成Readiness检测 |
信息 |
Governance:ReadinessFinish:微服务治理Kubernetes完成Readiness检测 |
开启无损上线后,微服务治理应用完成Kubernetes的Readiness检测时,产生此事件。 |
按需关注。 |