使用 AWS Glue Studio 管理 ETL 任务

查看任务生成的脚本

1. 在导航窗格中，选择 Jobs (任务) 。

   在 Jobs (任务) 页面中的 Your Jobs (您的任务) 列表中，选择要查看的任务的名称。或者，您可以在列表中选择一项任务，选择 Actions (操作) 菜单，然后选择 Edit job (编辑任务) 。

   在可视化编辑器页面上，选择 Script (脚本) 选项卡以查看任务任务脚本。

   如果您要编辑任务脚本，请参阅 AWS Glue 编程指南 。

   修改任务属性

   任务图中的节点定义了任务执行的操作，但也可以为任务配置多个属性。这些属性用于确定任务运行环境、任务使用的资源、阈值设置、安全设置等。

   自定义任务运行环境

   1. 在导航窗格中，选择 Jobs (任务) 。

      在 Jobs (任务) 页面中的 Your Jobs (您的任务) 列表中，选择要查看的任务的名称。

      在可视化编辑器页面上，选择任务编辑窗格顶部的 Job details (任务详细信息) 。

      根据需要修改任务属性。

      有关任务属性的更多信息，请参阅《AWS Glue 开发人员指南》 中的 定义任务属性 。

      如果您需要指定以下附加任务属性，则展开 Advanced properties (高级属性) 部分：

      Script filename (脚本文件名) – 在 Amazon S3 中存储任务脚本的文件的名称。

      Script path (脚本路径) – 任务脚本的 Amazon S3 存储位置。

      Job metrics (任务指标) –（不适用于 Python Shell 任务）当此任务运行时启用 Amazon CloudWatch 指标创建。

      Continuous logging (连续日志记录) –（不适用于 Python Shell 任务）打开 CloudWatch 的连续日志记录，以便在任务完成之前可以查看日志

      Spark UI 和 Spark UI logs path (Spark UI 日志路径) –（不适用于 Python Shell 任务）使用 Spark UI 监控此任务，并指定 Spark UI 日志的位置。

      Maximum concurrency (最大并发) – 设置此任务业允许的并发运行的最大数量。

      Temporary path (临时路径) – 在 Amazon S3 中提供工作目录的位置，以便当 AWS Glue 运行脚本时在该位置写入临时中间结果。

      Delay notification threshold (minutes) (延迟通知阈值（分钟）) – 指定任务的延迟阈值。如果任务运行时间长于阈值指定的时间，则 AWS Glue 将任务的延迟通知发送给 CloudWatch。

      Security configuration (安全配置) 和 Server-side encryption (服务器端加密) – 使用这些字段选择任务的加密选项。

      Use Glue Data Catalog as the Hive metastore (使用 Glue 数据目录作为 Hive 元存储) – 选择此选项，如果您要使用 AWS Glue Data Catalog 作为 Apache 蜂巢元数据仓的替代方案。

      Additional network connection (附加网络连接) – 对于 VPC 中的数据源，您可以指定类型为 Network ，确保您的任务通过 VPC 访问您的数据。

      Python library path (Python 库路径) 、 Dependent jars path (从属 jars 路径) （不适用于 Python Shell 任务）或 Referenced files path (引用的文件路径) – 使用这些字段指定任务运行脚本时使用的其他文件的位置。

      Job Parameters (任务参数) – 您可以添加作为命名参数传递给脚本的一组键值对。在 Python 对 AWS Glue API 的调用中，最好按名称显式传递参数。有关在任务脚本中使用参数的更多信息，请参阅《AWS Glue 开发人员指南》 中的 在 AWS Glue 中传递和访问 Python 参数 。

      Tags (标签) – 您可以将标签添加到任务，帮助您组织和识别它们。

      修改任务属性后，保存任务。

      将 Spark 随机播放文件存储在 Amazon S3 上

      某些 ETL 任务需要读取和合并来自多个分区的信息，例如，在使用连接转换时。此操作称为 随机排序 。在随机排序过程中，数据会写入磁盘并通过网络传输。借助 AWS Glue 3.0 版，您可以将 Amazon S3 配置为这些文件的存储位置。AWS Glue 提供一个随机播放管理器，用于在 Amazon S3 中写入和读取随机文件。与本地磁盘（或者针对 Amazon EC2 进行了严格优化的 Amazon EBS）相比，从 Amazon S3 写入和读取随机放置文件的速度较慢（降低 5%-20%）。不过，Amazon S3 提供无限存储容量，因此您不必担心“ No space left on device ”错误运行您的任务。

      将您的任务配置为使用 Amazon S3 对文件进行随机排序

      1. 在 Jobs (任务) 页面中的 Your Jobs (您的任务) 列表中，选择要修改的任务的名称。

         在可视化编辑器页面上，选择任务编辑窗格顶部的 Job details (任务详细信息) 。

         向下滚动到 Job parameters (任务参数) 部分。

         指定以下键/值对。

         --write-shuffle-files-to-s3 — true

         这是用于配置 AWS Glue 中随机排序管理器的主要参数，使用 Amazon S3 存储桶来写入和读取随机数据。此参数的默认值为 false 。

         （可选） --write-shuffle-spills-to-s3 – true

         此参数允许您将溢出文件卸载到 Amazon S3 存储桶，从而为AWS Glue。只有将大量数据溢出到磁盘的大型工作负载才需要这样做。此参数的默认值为 false 。

         （可选） --conf spark.shuffle.glue.s3ShuffleBucket – S3://< shuffle-bucket >

         此参数指定在写入临时排序文件时要使用的 Amazon S3 存储桶。如果未设置此参数，则位置是 shuffle-data 文件夹中指定的 临时路径 （ --TempDir ）位置。

         注意

         确保 Shell 存储桶位于任务运行所在的相同 AWS 区域。

         此外，随机排序服务不会在任务完成运行后清理文件，因此您应该在 Shell 存储桶位置上配置 Amazon S3 存储生命周期策略。有关更多信息，请参阅《Amazon S3 用户指南》 中的 对象生命周期管理 。

         保存任务后，“not saved (未保存)”标注将更改为显示上次保存任务的时间和日期。

         如果您在退出 AWS Glue Studio 时未保存您的任务，您下次登录 AWS Glue Studio 时，会显示通知。通知指示存在未保存的任务，并询问您是否要恢复。如果选择恢复任务，则可以继续对其进行编辑。

         排查保存任务时的错误

         如果选择 Save (保存) 按钮，但您的任务缺少了一些必需的信息，那么缺少信息的选项卡上会出现一个红色标注。标注中的数字表示检测到的缺失字段数。

         您可以使用 Clone job (克隆任务) 操作将现有任务复制到新任务。

         通过复制现有任务创建新任务

         1. 在 Jobs (任务) 页面中的 Your jobs (您的任务) 列表中，选择要复制的任务。

            从 Actions (操作) 菜单中，选择 Clone job (克隆任务) 。

            输入新任务的名称。然后，您可以保存或编辑任务。