DataWorks的运维中心概要介绍_大数据开发治理平台DataWorks ...

运维中心包括运维大屏、实时任务运维、周期任务运维、手动任务运维、智能监控、智能诊断、资源运维和引擎运维功能模块，为您提供任务操作与状态、引擎、资源等多方位的运维能力。

运维中心功能模块

当您在DataStudio中完成节点开发，并提交和发布至生产环境后，即可在运维中心对任务进行运维操作，包括周期调度任务的自动调度与手动运行、任务运行详情查看、任务运行状态监控、任务运行使用的资源监控与自动运维；实时任务的执行管控、运行详情查看与监控报警配置；调度任务运维大屏以及数据集成离线同步与实时同步任务运维专页，针对任务运维关键指标的查看。运维中心逻辑图

下表为运维中心各模块功能使用的简单说明：

模块	描述	环境支持情况
查看运维大屏	运维大屏以报表的形式为您展示任务的运行的重要指标。包括调度任务的关键运维指标统计与数据集成离线同步与实时同步任务运维专页。	开发环境运维中心无此模块
实时同步任务运行与管理	在实时任务运维界面，您可以针对实时任务进行启动、停止、下线与监控报警相关操作。	-
查看并管理周期任务	周期任务运维为您展示任务提交到调度系统后的调度任务列表与调度环境产生的周期实例。周期任务面板展示当前所有的调度节点，您可以在周期任务面板修改周期调度任务使用的资源组、责任人等信息。 DataWorks每晚会根据周期任务自动生成第二天待运行的周期实例，同时支持您手动触发周期任务，分别生成补数据实例和测试实例，您可以通过生成的实例查看任务的运行详情。	开发环境运维中心无法自动调度生成周期实例。
手动任务运维	手动任务运维为您展示任务提交到调度系统后的手动任务列表与经过手动触发运行后生成的手动实例。手动任务面板展示当前所有的手动触发式任务，您可以在手动任务面板修改任务执行时使用的调度资源组、责任人等信息。在手动任务面板中，选择类型为手动业务流程，支持您手动触发任务运行并且生成手动实例，您可以查看生成的手动实例的运行详情。	-
智能监控	监控对象：周期任务、实时计算任务、资源水位。监控支持为自动调度的周期任务设置监控报警，监控在自动调度场景下的周期实例运行情况，支持独享资源组水位监控及实时计算任务运行状态监控。监控方式：自定义规则、智能基线支持针对指定对象（节点、业务流程、工作空间、基线、实时计算任务、独享调度资源组、独享数据集成资源组）的监控报警，同时也支持针对整个“业务线”的基线预警，并通过您配置的报警方式来发送相应的报警信息。报警方式：支持短信、邮件、电话、钉钉群和webhook，已支持设置值班表，将对应时间的报警消息报警给对应的值班人员。	开发环境运维中心无此模块
资源运维	资源运维主要对独享调度资源组及独享数据集成资源组的使用情况（使用率、运行中任务列表、排队任务列表）进行监控和自动运维，支持查看资源组使用趋势。	-
引擎运维	目前支持对EMR引擎的运维。在DataWorks实例任务中，E-MapReduce计算引擎任务会被分为若干作业有序执行，您可以使用DataWorks的引擎运维功能，查看各个E-MapReduce作业的详细信息，及时查找并清理运行有误的作业，避免该类作业阻塞下游任务，影响实例任务的正常运行。	开发环境运维中心无此模块
智能诊断	DataWorks运维中心为您提供运行诊断功能，帮助您掌握任务运行的全链路信息，以便迅速定位问题。	开发环境运维中心无此模块

同时，需关注以下注意事项：

在标准模式工作空间下，您可以通过界面左上角切换进入到开发运维中心和生产运维中心。
仅生产环境运维中心支持自动调度。即只有在生产环境运维中心，您才能在周期实例面板中看到自动调度执行的周期实例。

生产任务运行逻辑

生产任务包括周期任务、手动任务和实时任务。运维逻辑

周期任务运维

当节点被提交发布至运维中心后，您可以在运维中心的 周期任务 中看到该节点（周期任务列表中的任务为所有周期性调度的任务），DataWorks每晚会生成第二天待运行的 周期实例 ，同时支持您手动触发 周期任务 ，分别生成 补数据实例 和 测试实例 。

实例类型	应用场景	与周期任务的关系（对应实例如何生成）	实例触发方式（对应实例如何触发执行）	任务运行条件
周期实例	周期性自动化进行ETL操作。	平台每晚根据某一时间点周期任务快照信息自动生成第二天待运行的周期实例。	平台自动触发周期实例执行。	以周期实例上的任务为例，任务开始运行前需满足以下条件：依赖的所有父节点实例状态都为成功状态。已到达任务节点设置的任务定时运行时间。调度资源充足。本任务不是冻结状态。
补数据实例	需要对当前节点及下游节点执行补过去某一时间段或未来某段时间的数据的操作，即需要对历史或未来时间段的数据进行ETL操作。	人为针对当前周期任务手动触发补数据操作，并生成补数据实例。	人为针对周期任务进行补数据操作后，会生成补数据实例，并同时触发补数据实例执行。
执行测试并查看测试实例	需要对当前周期任务进行测试，观察执行结果是否符合预期。	人为针对当前周期任务手动触发测试操作，并生成测试实例。	人为针对周期任务的进行测试操作后，会生成测试实例，并且同时触发测试实例执行。

您可以在 周期任务运维 下的 周期实例 面板、 补数据实例 面板、 测试实例 面板中查看各类实例的运行情况，根据实例的状态了解数据产出是否异常，不同实例状态的详情请参见附录：实例状态。

序号	状态类型	状态标识	运行流程图
1	运行成功状态
2	未运行状态
3	运行失败状态
4	正在运行状态
5	等待状态
6	暂停/冻结状态

运维中心功能模块

生产任务运行逻辑

任务运行状态监控：智能监控

任务运行资源监控与运维：自动运维

任务运行问题定位：运行诊断

任务产出的表数据监控：数据质量

附录：实例状态