当一个数据需要存储多份时，会出现一致性问题，所以就需要进行同步，
同步
分为两种：增量和全量。
简单来说，就是在一定的周期中，把当前系统在周期时间内
所有
数据复制到目标表/系统这样的同步方式就叫做—>全量
增量同步的前提是全量，然后再更具规则增量同步；
增量的基础是全量，就是你要使用某种方式先把全量数据拷贝过来，然后再采用增量方式同步更新。
增量的话，就是指抓取某个时刻（更新时间）或者检查点（checkpoint）以后的数据来同步，不是无规律的全量同步。这里引入一个关键性的前提：副本一端要记录或者知道（通过
查询更新日志
或者
订阅更新
）哪些更新了。
能用全量别用增量
两个系统之间需要同步数据，同步的方法可以分为全量和增量两种形式。多年的经验告诉我，能用全量就别用增量。增量有三个问题
1.数据提供方，很难制作增量包，事无巨细都要记录，稍微记错就全完了
2.数据接收方，理解并且实施增量包的逻辑比较复杂
3.中间过程一旦出了问题，很难定位
这里为了方便讨论，假设有两个系统，其中系统A拥有全深圳所有纳税人的当月工资，系统B需要从系统A同步这个数据。对于系统A来说，它的数据在不停的变化，但是可以分成三类
1.新增，比如说有毕业生来深圳打工
2.删除，比如说有人离职离开深圳了
3.变化，比如说有人涨工资了
这个时候，同步数据的方法很难决策，全量同步不合适，数据量太大而且还不值当，毕竟变化的部分比较少。增量同步又怕麻烦，一旦某次同步出问题，很难倒查故障和恢复。
其实，可以有一种折中方案，上不了台面，但是值得尝试。为了方便理解，还是以上面的例子来讨论。
我们知道所有人都有身份证号码，其中有一部分为年月日，表示生日。我们按照生日，在系统A将数据进行分组，这个分组是逻辑上的，不是真实的。如果有个人，工资涨了，生日为1999.9.1，那么系统A就记录分组1999.9.1的数据发生了变化。假设两个系统之间的同步周期是每天同步一次，那么系统A只需要整理这段时间那些分组发生了变化，但是不用记录变化的实际内容。系统B就老老实实将发生变化的分组数据删掉，然后全量同步这些分组的数据。
这个方案，就是赌每天发生变更的数据不会那么巧，波及所有分组，只会有很小的一部分分组发生变化。这样从整体看，只是同步了部分数据，从分组看又是简单的全量同步。这个方案的巧妙之处就是选择合适的分组标准，既要分的足够细，又要足够直接，方便程序处理。
INSERT OVERWRITE TABLE dwd_fyp_user_info_df PARTITION (biz_date='20200824')
--T-1的增量数据
SELECT
,name
,mobile
增量抽取
Sqoop支持两种类型的增量导入：append和lastmodified。可以使用–incremental参数指定增量导入的类型。
当被导入表的新行具有持续递增的行id值时，应该使用append模式。指定行id为–check-column的列。Sqoop导入那些被检查列的值比–last-value给出最大的数据行。
Sqoop支持的另一个表修改策略叫做lastmodified模式。当...
在之前的ETL介绍中我们介绍了数据抽取，包括了全量数据抽取和增量数据抽取。今天给大家做一下增量和全量的差异介绍。
全量增量用于数据采集的差异：
全量抽取简单，但是数据量大；增量抽取，相对复杂，要求对数据差异准确性高，对业务系统的性能不能有太大压力。
增量与全量用于数据同步的差异：
全量，就是每天定时（一般是夜里，避开业务高峰期）或者周期性全量把数据从一个地方拷贝到另外一个地方；可以采用直接用新数据全部覆盖旧数据的方式；或者覆盖前判断下如果新旧不一致就更新，如果不一致则不更新；这里面有一个隐藏的问题：如果采用异步写，数据源物理删除了，怎么直接通过全量数据同步？这就需要借助一些中间操作日志文件，
为保证统计结果的正确性，需要保证数据仓库中的数据与业务数据库是同步的，离线数仓的计算周期通常为天，所以数据同步周期也通常为天，即每天同步一次即可。业务数据是数据仓库的重要数据来源，我们需要每日定时从业务数据库中抽取数据，传输到数据仓库中，之后再对数据进行分析统计。例如某张表数据量较大，但是每天数据的变化比例很低，若对其采用每日全量同步，则会重复同步和存储大量相同的数据。全量同步，就是每天都将业务数据库中的全部数据同步一份到数据仓库，这是保证两侧数据同步的最简单的方式。数据的同步策略有全量同步和增量同步。
增量同步的前提是全量，然后再根据规则增量同步；
增量的基础是全量，就是你要使用某种方式先把全量数据拷贝过来，然后再采用增量方式同步更新。
增量的话，就是指抓取某个时刻（更新时间）或者检查点（checkpoint）以后的数据来同步，不是无规律的全量同步。
https://blog.csdn.net/qq_42630887/article/details/109120331
全量，这个很好理解。就是每天定时(避开业务高峰期)或者周期性全量把数据从一个地方拷贝到另外一个地方；
全量的话，可以采用直接全部覆盖(使用“新”数据覆盖“旧”数据)；或者走更新逻辑(覆盖前判断下，如果新旧不一致，就更新)；
这里面有一个隐藏的问题：如果采用异步写，主数据物理删除了，怎么直接通过全量数据同步？这...
全量数据 就是表中所有的数据；
增量数据 是上次导出之后的新数据：
全量和增量数据应用场景之一是：对于数据的备份。（再特定的时间点进行备份时候产生全量数据和增量数据备份的方法）。
数据同步一般分为两种方式：全量和增量。
