使用亚马逊 S3 作为来源 AWS DMS

您可以使用从 Amazon S3 存储桶迁移数据 AWS DMS。为此，请提供对包含一个或多个数据文件的 Amazon S3 存储桶的访问。在该 S3 存储桶中，请包含一个 JSON 文件以描述该数据与这些文件中的数据的数据库表之间的映射。

在开始完全加载之前，必须在 Amazon S3 存储桶中包含源数据文件。您可以使用 bucketName 参数指定存储桶名称。

源数据文件可以采用以下格式：

对于逗号分隔值 (.csv) 格式的源数据文件，请使用以下命名约定对其进行命名。在该约定中， schemaName 是源架构， tableName 是该架构中的表的名称。

/schemaName/tableName/LOAD001.csv
/schemaName/tableName/LOAD002.csv
/schemaName/tableName/LOAD003.csv
...

例如，假定数据文件位于以下 Amazon S3 路径的 mybucket 中。

s3://mybucket/hr/employee

加载时， AWS DMS 假设源架构名称为 hr ，源表名为 employee 。

除了 bucketName （必填项）之外，您还可以选择提供一个 bucketFolder 参数来指定 AWS DMS 应在 Amazon S3 存储桶中查找数据文件的位置。继续前面的示例，如果设置 bucketFolder 为 sourcedata ，则 AWS DMS 读取以下路径中的数据文件。

s3://mybucket/sourcedata/hr/employee

您可以使用额外连接属性指定列分隔符、行分隔符、null 值指示符以及其他参数。有关更多信息，请参阅 Amazon S3 的终端节点设置作为来源 AWS DMS 。

您可以使用 ExpectedBucketOwner Amazon S3 端点设置指定存储桶拥有者并防止狙击，如下所示。然后，当您发出测试连接或执行迁移的请求时，S3 会根据指定参数检查存储桶拥有者的账户 ID。

--s3-settings='{"ExpectedBucketOwner": "AWS_Account_ID"}'

将 Amazon S3 的外部表定义为数据源 AWS DMS

除了数据文件以外，您还必须提供外部表定义。 外部表定义是一个 JSON 文档，它描述了 AWS DMS 应如何解释 Amazon S3 中的数据。该文档的最大大小为 2 MB。如果您使用 AWS DMS 管理控制台创建源端点，则可以直接在表映射框中输入 JSON。如果您使用 AWS Command Line Interface (AWS CLI) 或 AWS DMS API 执行迁移，则可以创建一个 JSON 文件来指定外部表的定义。

假定您具有包含以下内容的数据文件。

101,Smith,Bob,2014-06-04,New York
102,Smith,Bob,2015-10-08,Los Angeles
103,Smith,Bob,2017-03-13,Dallas
104,Smith,Bob,2017-03-13,Dallas

以下是该数据的示例外部表定义。

该 JSON 文档中的元素如下所示：

TableCount – 源表数。在该示例中，只有一个表。

Tables – 一个数组，对于每个源表，它包含一个 JSON 映射。在该示例中，只有一个映射。每个映射包含以下元素：

ColumnNullable – 一个布尔值；如果该列可以包含 NULL 值，则此值为 true （默认值为 false ）。

ColumnIsPk – 一个布尔值；如果该列是主键的一部分，则此值为 true （默认值为 false ）。

ColumnDateFormat – 具有 DATE、TIME 和 DATETIME 类型的列的输入日期格式，用于将数据字符串解析为日期对象。可能的值包括：

- YYYY-MM-dd HH:mm:ss
- YYYY-MM-dd HH:mm:ss.F
- YYYY/MM/dd HH:mm:ss
- YYYY/MM/dd HH:mm:ss.F
- MM/dd/YYYY HH:mm:ss
- MM/dd/YYYY HH:mm:ss.F
- YYYYMMdd HH:mm:ss
- YYYYMMdd HH:mm:ss.F

TableColumnsTotal – 总列数。该数字必须与 TableColumns 数组中的元素数相匹配。

如果您未另行指定，则 AWS DMS 假定 ColumnLength 为零。

对于 NUMERIC 类型的列，指定精度和小数位数。 精度 是数字中的总位数，而 小数位数 是小数点右边的位数。为此，您可以使用 ColumnPrecision 和 ColumnScale 元素，如下所示。

对于数据包含小数秒的 DATETIME 类型的列，请指定小数位数。 小数位数 是小数秒的位数，范围可以从 0 到 9。为此，您可以使用 ColumnScale 元素，如下所示。

如果未另行指定，则 AWS DMS 假定 ColumnScale 为零并截断小数秒。

使用 CDC 并将 Amazon S3 作为 AWS DMS的源

AWS DMS 执行完整数据加载后，它可以选择将数据更改复制到目标端点。为此，您需要将变更数据捕获文件（CDC 文件）上传到您的 Amazon S3 存储桶。 AWS DMS 在上传这些 CDC 文件时读取它们，然后将更改应用到目标端点。

CDC 文件是按如下方式命名的：

CDC00001.csv
CDC00002.csv
CDC00003.csv
            
注意
要在更改数据文件夹中成功地复制 CDC 文件，请按词汇（序列）顺序上传它们。例如，在文件 CDC00003.csv 之前上传文件 CDC00002.csv。否则，如果在 CDC00003.csv 之后加载 CDC00002.csv，则会跳过后者而不会复制。但是，如果在 CDC00003.csv 之后加载文件 CDC00004.csv，则该文件复制成功。
            
要指明在哪里 AWS DMS 可以找到文件，请指定cdcPath参数。对于前面的示例，如果将 cdcPath 设置为 changedata，则 AWS DMS 读取以下路径中的 CDC 文件。
            
s3://mybucket/changedata
            
如果将 cdcPath 设置为 changedata，并将 bucketFolder 设置为 myFolder， AWS DMS 会读取以下路径中的 CDC 文件。
            
s3://mybucket/myFolder/changedata
            
CDC 文件中的记录格式如下所示：
                    
操作 – 要执行的更改操作：INSERT（I）、UPDATE（U）或 DELETE（D）。这些关键字和字符值不区分大小写。
                    
注意
在支持的 AWS DMS 版本中， AWS DMS 可以通过两种方式识别每个加载记录要执行的操作。 AWS DMS 可以根据记录的关键字值（例如INSERT）或其关键字的初始字符（例如I）执行此操作。在之前的版本中，只能从完整的关键字值中 AWS DMS 识别加载操作。
在的早期版本中 AWS DMS，写入了完整的关键字值来记录 CDC 数据。以前的版本仅使用关键字首字母将操作值写入任何 S3 目标。
无论如何写入操作列 AWS DMS 来创建 S3 源数据，都可以识别这两种格式来处理操作。此方法支持使用 S3 目标数据作为源用于以后的迁移。借助这种方法，您无需更改以后 S3 源的操作列中显示的任意关键字首字母值的格式。
                    
表名称 – 源表的名称。
                    
架构名称 – 源架构的名称。
                    
数据 – 表示要更改的数据的一个或多个列。
            
以下是名为 employee 的表的示例 CDC 文件。
            
INSERT,employee,hr,101,Smith,Bob,2014-06-04,New York
UPDATE,employee,hr,101,Smith,Bob,2015-10-08,Los Angeles
UPDATE,employee,hr,101,Smith,Bob,2017-03-13,Dallas
DELETE,employee,hr,101,Smith,Bob,2017-03-13,Dallas
            
使用 Amazon S3 作为来源的先决条件 AWS DMS
            
要使用 Amazon S3 作为来源 AWS DMS，您的源 S3 存储桶必须与迁移数据的 DMS 复制实例位于同一 AWS
区域。此外，用于迁移的 AWS 账户必须具有源存储桶的读取访问权限。对于 AWS DMS 版本 3.4.7 及更高版本，DMS 必须通过 VPC 终端节点或公共路由访问源存储桶。有关 VPC 终端节点的信息，请参阅将 VPC 端点配置为 AWS DMS 源端点和目标端点。
            
分配给用于创建迁移任务的用户账户的 AWS Identity and Access Management (IAM) 角色必须具有以下权限集。
    "Version": "2012-10-17",
    "Statement": [
            "Effect": "Allow",
            "Action": [
                "s3:GetObject"
            "Resource": [
                "arn:aws:s3:::mybucket*/*"
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            "Resource": [
                "arn:aws:s3:::mybucket*"
            
如果在 Amazon S3 存储桶上启用了版本控制，则分配给用于创建迁移任务的用户账户的 AWS Identity and Access Management (IAM) 角色必须具有以下权限集。
    "Version": "2012-10-17",
    "Statement": [
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "S3:GetObjectVersion"
            "Resource": [
                "arn:aws:s3:::mybucket*/*"
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            "Resource": [
                "arn:aws:s3:::mybucket*"
        
使用 Amazon S3 作为来源时的限制 AWS DMS
        
将 Amazon S3 作为源时存在以下限制：
                
不要为 S3 启用版本控制。如果您需要 S3 版本控制，请使用生命周期策略主动删除旧版本。否则，您可能会遇到由于 S3 list-object 调用超时而导致端点测试连接失败的情况。要为 S3 存储桶创建生命周期策略，请参阅管理存储生命周期。要删除 S3 对象的某个版本，请参阅从启用版本控制的存储桶中删除对象版本。
                
3.4.7 及更高版本支持启用了 VPC（网关 VPC）的 S3 存储桶。
            
MySQL 将time数据类型转换为。string要在 MySQL 中查看time数据类型值，请将目标表中的列定义为string，然后将任务的目标表准备模式设置设置为 Trunc ate。
AWS DMS 在内部对两种BYTE数据类型BYTE和数据类型都使用该BYTES数据类型。
S3 源端点不支持 DMS 表重新加载功能。

                
AWS DMS 不支持以 Amazon S3 作为源的完整 LOB 模式。
        
在 Amazon S3 中使用 Parquet 格式的文件作为源文件时，存在以下限制：
            
Amazon S3 的终端节点设置作为来源 AWS DMS
                
您可以使用端点设置来配置 Amazon S3 源数据库，这与使用额外连接属性类似。您可以在使用 AWS DMS 控制台创建源端点时指定设置，或者使用中带有 --s3-settings '{"EndpointSetting":
                    "value", ...}' JSON 语法的create-endpointAWS CLI命令来指定设置。
        
            
下表显示了将 Amazon S3 作为源时可以使用的端点设置。
                            BucketFolder
                                
(可选) S3 存储桶中的文件夹名称。如果提供该属性，则分别从 s3://myBucket/bucketFolder/schemaName/tableName/ 和 s3://myBucket/bucketFolder/ 路径中读取源数据文件和 CDC 文件。如果未指定此属性，则使用的路径为 schemaName/tableName/。
                                
'{"BucketFolder": "sourceData"}'
                            BucketName
                                
S3 桶的名称。
                                
'{"BucketName": "myBucket"}'
                            Rfc4180
                                
当此值设置为 true 或 y 时，每个前导双引号必须后跟一个结束双引号。此格式符合 RFC 4180。当此值设置为 false 或 n时，字符串文字将按原样复制到目标。在这种情况下，分隔符（行或列）表示字段的末尾。因此，您不能使用分隔符作为字符串的一部分，因为它表示值的末尾。
                                
默认值为 true。
                                
有效值：true、false、y、n
                                
'{"Rfc4180": false}'
            
Amazon S3 的源数据类型
            
使用 Amazon S3 作为数据源的数据迁移 AWS DMS 需要将数据从 Amazon S3 映射到 AWS DMS 数据类型。有关更多信息，请参阅 将 Amazon S3 的外部表定义为数据源 AWS DMS。
            
有关如何查看目标中映射的数据类型的信息，请参阅有关所使用的目标终端节点的部分。
            
有关 AWS DMS 数据类型的更多信息，请参见AWS Database Migration Service 的数据类型。
            
以下 AWS DMS 数据类型用于 Amazon S3 作为数据源：
                    
ColumnPrecision: 38
ColumnScale: 31