機能

• 差分レプリケーション
• 同期間隔（データの整合性）
• 削除キャプチャ（データとレコード）
• データ型
• データ変換
• API 接続
• ファイアウォールトラバーサル
• スキーマの変更

​

初期レプリケーション

​

差分レプリケーション

​

差分チェックカラム

• Date-based incremental check columns： A datetime column (such as Last Modified or Date Updated) that records when a row was last changed. uses this value to retrieve records that were added or updated after the last replication.
• Number-based incremental check columns： A numeric column (such as an auto-incrementing identifier or a rowversion-type column) whose value increases as new records are created or updated. uses this value to retrieve records whose values are greater than or equal to the last processed value.

​

差分チェックカラムの順序付き処理

• 順序付きソースクエリ： はチェックカラムの値に基づいてレコードが順番に返されるように、ソースクエリに ORDER BY 句を追加します。
• 最小値の検索： は結果セット全体をスキャンするのではなく、ORDER BY … LIMIT 1 を使用してチェックカラムの最小値を取得します。
• 差分バッチコミット： は、レプリケーション全体を単一のトランザクションとして扱うのではなく、完了したバッチを順次同期先にコミットします。レプリケーションジョブが中断された場合、コミット済みのバッチは保持されます。
• 差分ステータス更新： 各バッチが正常に完了するたびにステータステーブルが更新されます。レプリケーションジョブが中断された場合、次回の実行は最後に正常に完了したバッチから再開されます。
• バッチレベルのマージ： は各バッチが完了するたびに同期先テーブルを更新し、対応するステータス情報を記録します。

​

変更データキャプチャ

​

時間ベースの差分フィルタリング関数

• REPLICATE_LASTMODTIME()： ステータステーブルに保存された最後の値を返します。値が存在しない場合は、 はレプリケーション開始日（ReplicateStartDate）をデフォルト値として使用します。
• REPLICATE_NEXTINTERVAL()： ReplicateInterval およびReplicateIntervalUnit パラメータに基づいて、次の値を返します。これらのパラメータが設定されていない場合は、 はエラーを生成します。

WHERE from_date_prompt = REPLICATE_LASTMODTIME()
  AND to_date_prompt = REPLICATE_NEXTINTERVAL()

• すべてのフィルタカラムが関数を使用している場合、 はREPLICATE_NEXTINTERVAL() の値を保存します。
• すべてのフィルタカラムが通常のカラムの場合、 は返される最大値を保存します。
• フィルタカラムが混在している場合、 はREPLICATE_NEXTINTERVAL() の値を保存します。

​

並列処理

1. 実行するジョブをクリックします（ のジョブページから）。このアクションによりジョブ/任意のジョブ名ページが開きます。
2. 概要タブの設定カテゴリで、設定を編集アイコン（）をクリックします。これにより、設定を編集ダイアログボックスが開きます。
3. 並列処理プロパティで有効化を選択します。
4. ジョブに割り当てるワーカー数をワーカープールフィールドに入力します。この値は、一度に並列に実行できるタスクの数を制御します。
5. 変更を保存（ジョブ設定ヘッダーバー右上）をクリックします。

​

メタデータキャッシュ

• なし： メタデータはリフレッシュされません。
• ジョブの開始時： ジョブの開始時にメタデータがリフレッシュされます。
• 毎時（デフォルト）：1時間経過後にメタデータがリフレッシュされます。
• 毎日： 1日経過後にメタデータがリフレッシュされます。

キャッシュされたメタデータは、すべてのスキーマ変更をリアルタイムで自動検出するわけではないため、データソースまたは同期先テーブルの構造が変更された際は、 ジョブでキャッシュをリフレッシュする必要があります。例えば、カラムの追加、削除、またはデータ型の変更が行われた場合は、リフレッシュボタン（）をクリックしてキャッシュを更新し、 がスキーマの最新の状態を把握できるようにしてください。この方法により、レプリケーションエラーを防ぎ、変換、マッピング、検証が正確に適用されることを確実にします。

​

ジョブの自動再試行

1. ジョブページでジョブの名前をクリック（または**… > 編集**を選択）して、任意のジョブ名 の設定ページを開きます。
2. 概要タブの設定カテゴリで、設定を編集アイコン（）をクリックします。これにより、設定を編集ダイアログボックスが開きます。
3. ジョブの自動再試行設定の有効化チェックボックスを選択します。次に、保存をクリックして設定の更新を保存します。

• 再試行に成功すると、再試行に成功しましたというメッセージが、失敗していたタスクの最後の実行カラムに表示されます。
• 再試行に失敗すると、再試行に失敗しましたというメッセージが、失敗したタスクの横の最後の実行カラムに表示されます。さらに、失敗した各タスクには詳細を表示リンクが表示されます。詳細を表示の左側にある下矢印をクリックすると、以下の例に示すように、失敗の詳細を含むエラーメッセージが表示されます：

​

同期間隔（データの整合性）

​

削除キャプチャ

• Hard Delete（デフォルトパラメータ）：データソースで削除が検出されると、 は同期先のテーブルからそのレコードを削除します。
• Soft Delete： は同期先テーブルに__deleted カラムを追加します。データソースで削除が検出されると、 は同期先の値をtrue に設定します。
• Skip Delete： はデータソースで削除されたレコードを無視します。

​

データ型

• Boolean
• Date
• Time
• TimeStamp
• Decimal
• Float
• Double
• SmallInt
• Integer
• Long
• Binary
• Varchar
• GUID

​

既知のデータ型

​

推論されたデータ型

​

変換

• ETL： ETL（extract（抽出）、transform（変換）、load（ロード））処理は数十年にわたってアナリティクスの伝統的な手法となっています。ETL は、歴史的に市場を席巻してきたリレーショナルデータベースでの使用を想定して考案されました。ETL では、レプリケーション処理の前に変換を行う必要があります。データはデータソースから抽出され、ステージングエリアに格納されます。データは整形、修飾、変換されてデータウェアハウスにロードされます。ETL についての詳細は、In-Flight ETLを参照してください。
• ELT： ELT（extract（抽出）、load（ロード）、transform（変換））処理は、変換などのデータの変更がレプリケーション処理後に行われるデータ抽出の手法です。現代のクラウドデータウェアハウスは膨大なストレージとスケーラビリティを備えているため、データすべてを移動して、その後修正を加えることができます。 ELT 変換はデータの同期先で実行されるSQL スクリプトです。変換はデータウェアハウスの処理能力を使って、アナリティクスとレポーティング面でのニーズに基づき素早くデータを集計、結合、整形します。データを変換とマッピングで整理することで、パイプラインの移動に合わせてデータを最も役立つ形式で取得できます。ジョブ同様、変換はセミコロン（;）で区切られた複数のクエリをサポートし、スケジュールに従って実行し、変換の完了後にE メールアラートが送信されます。ELT についての詳細は、Post-Job ELTを参照してください。

​

個人情報のマスキング

​

ヒストリーモード

​

ヒストリーモードの種類

• ヒストリーモード： このモードは、変更されたレコードの新しいバージョンを追加し、以前のバージョンのメタデータを更新して非アクティブとしてマークします。つまり、 はソースデータベーステーブルの各データレコードに対するデータ変更の完全な履歴を保持し、それらの変更バージョンを同期先データベーステーブルの対応するテーブルに記録します。
• ヒストリーモード – 追記専用： このオプションは、変更されたレコードの新しいバージョンを追加しますが、以前のバージョンやメタデータは更新しません。同期先の古い行は変更されません。ヒストリーモード - 追記専用は、Avro、CSV、Parquet の同期先で自動的に有効になります。他のすべての同期先では、手動で有効にする必要があります。
• History Mode - Include Before Update: When you enable this option, captures the “before update” image of a row. Then, the application writes an additional record to the destination for each update. This option must be used in conjunction with History Mode - Append Only. When this option is enabled on supported CDC sources, writes two rows for each update operation: one row that represents the state of the record before the update and another row that represents the state of the record after the update. These rows are distinguished by the value that is stored in the _cdatasync_operation column.

​

ヒストリーモードのシステムカラム

• M： Inserts or updates a row as part of a merge operation.
• D： Deletes a row.

• I (Insert): This value records that the row was inserted in the source system. When the source operation is known, records insert events using this value.
• U (Update)
• D (Delete)
• BU (Before Update): This value represents the state of the row before an update occurs when History Mode - Include Before Update is enabled.

​

制限事項

• データソーステーブルは差分チェックカラムをサポートしている必要があります。
• ソーステーブルに主キーが含まれている必要があります。（ヒストリーモード - 追記専用の場合、主キーは必須ではありません。）
• 差分チェックカラムがタイムスタンプ（datetime）カラムである必要があります。
• 疑似カラムはレスポンスに値を持たず条件としてのみ使用されるため、差分チェックカラムを疑似カラムにすることはできません。
• 同期先テーブルは存在できません。（ヒストリーモードがアクティブな場合、高度な設定タブのテーブルを削除設定を使用してテーブルを再作成します。）

​

ジョブおよびタスクのヒストリーモードを有効化する

1. ジョブタブをクリックしてジョブページを開きます。
2. ジョブ名をクリックして概要ページを開きます。次に、高度な設定タブをクリックします。
3. レプリケートオプションカテゴリで、レプリケートオプションを編集アイコン（）をクリックし、レプリケートオプションを編集ダイアログボックスを開きます。
4. ヒストリーモードオプションまでスクロールします。ヒストリーモードオプションを有効にするには、有効化を選択します。有効にすると、 はデータソースで発生するすべての変更に対してタイムスタンプ付きのエントリを同期先に追加します。（オプションを無効にする場合は、有効化チェックボックスをオフにします。）
5. 保存をクリックします。

1. ジョブのタスクタブをクリックします。
2. 変更するタスクの名前をクリックします。次に、高度な設定タブをクリックします。
3. レプリケートオプションカテゴリで、編集アイコン（）をクリックし、レプリケートオプションを編集ダイアログボックスを開きます。
4. ヒストリーモードオプションまでスクロールします。タスクは、関連するジョブのヒストリーモードステータスを継承します。
   • ヒストリーモードのステータスが有効化済み（継承） に設定されている場合、その設定をオーバーライドしない限り変更は必要ありません。
   • ヒストリーモードが未有効化（継承） でこのタスクに対して有効にしたい場合は、ダイアログボックスの上部にスクロールしてジョブ設定をオーバーライドを選択します。その後、ヒストリーモードに戻り、有効化を選択します。
   関連するテーブルが差分チェックカラムをサポートしていない場合、タスク設定でヒストリーモードは無効になります。
5. 保存をクリックします。

​

ジョブおよびタスクのヒストリーモード - 追記専用を有効化する

1. ジョブタブをクリックしてジョブページを開きます。
2. ジョブ名をクリックして概要ページを開きます。次に、高度な設定タブをクリックします。
3. レプリケートオプションカテゴリで、レプリケートオプションを編集アイコン（）をクリックし、レプリケートオプションを編集ダイアログボックスを開きます。
4. ヒストリーモードオプションまでスクロールし、すでに有効になっていることを確認します（オプションラベルが有効化済み（継承） と表示されているはずです）。有効になっていない場合は、手順5に進む前にジョブのヒストリーモードを有効にする手順を実行してください。
   関連するテーブルが差分チェックカラムをサポートしていない場合、タスク設定でヒストリーモードは無効になります。
5. レプリケートオプションを編集ダイアログボックスの下部にある追加オプションテキストボックスまでスクロールし、HistoryModeAppendOnly=true オプションを追加オプションテキストボックスに入力します。
6. 保存をクリックします。

1. ジョブのタスクタブをクリックします。
2. 設定するタスクの名前をクリックします。次に、高度な設定タブをクリックします。
3. レプリケートオプションカテゴリで、編集アイコン（）をクリックし、レプリケートオプションを編集ダイアログボックスを開きます。
4. ヒストリーモードオプションまでスクロールし、すでに有効になっていることを確認します（オプションラベルが有効化済み（継承） と表示されているはずです）。有効になっていない場合は、手順5に進む前にジョブおよびタスクのヒストリーモードを有効にする手順を実行してください。
   関連するテーブルが差分チェックカラムをサポートしていない場合、タスク設定でヒストリーモードは無効になります。
5. レプリケートオプションを編集ダイアログボックスの下部にある追加オプションテキストボックスまでスクロールし、HistoryModeAppendOnly=true オプションを追加オプションテキストボックスに入力します。
6. 保存をクリックします。

​

ジョブおよびタスクのヒストリーモード - Include Before Update を有効化する

• You use the History Mode - Append Only mode (HistoryModeAppendOnly=true)
• The source uses CDC.

1. ジョブタブをクリックしてジョブページを開きます。
2. ジョブ名をクリックして概要ページを開きます。次に、高度な設定タブをクリックします。
3. Ensure that History Mode and History Mode - Append Only are enabled by following the steps in the following sections:
   • History Mode
   • History Mode – Append Only
   If you set History Mode - Include Before Update to true (HistoryModeIncludeBeforeUpdate=true) but do not enable History Mode - Append Only, generates an error specifying that HistoryModeIncludeBeforeUpdate can be used only when the HistoryModeAppendOnly=true is enabled.
4. On the Advanced tab for your job, click the Edit icon () for the Replicate Options category to open the Edit Replicate Options dialog box. In the dialog box, verify that both History Mode and History Mode - Append Only are enabled.
5. Enter the option HistoryModeIncludeBeforeUpdate=true into the Additional Options text box, as shown below:
6. 保存をクリックします。

1. ジョブのタスクタブをクリックします。
2. 設定するタスクの名前をクリックします。次に、高度な設定タブをクリックします。
3. Ensure that History Mode and History Mode - Append Only are enabled by following the steps in the following sections:
   • History Mode
   • History Mode – Append Only
4. On the Advanced tab for your job, click the Edit icon () for the Replicate Options category to open the Edit Replicate Options dialog box. In the dialog box, verify that both History Mode and History Mode - Append Only are enabled.
5. Enter the option HistoryModeIncludeBeforeUpdate=true into the Additional Options text box, as shown below:
6. 保存をクリックします。

• A row representing the state before the update, where _cdatasync_operation is set to BU.
• A row representing the state after the update, where _cdatasync_operation is set to U.

​

データソーステーブルを変更した場合の影響

​

API 接続

• Sync API V2 は、7つのAPI で構成されています：
  • 接続管理API
  • イベント管理API
  • ジョブ管理API
  • パイプライン管理API
  • 変換管理API
  • ユーザー管理API
  • ワークスペース管理API
• Sync API V1 は、3つのAPI で構成されています：
  • ジョブ管理API
  • 接続管理API
  • ユーザー管理API

​

In-Network インストール

​

スキーマの変更

• データソーステーブルに同期先テーブルに存在しないカラムが含まれている場合、 はカラムを追加することで同期先テーブルを変更します。
• データソーステーブルのデータ型のサイズが増える場合、 はカラムのサイズを更新することで同期先テーブルを変更します。 は、文字列カラムのカラムサイズを増やしたり（例：varchar(255) -> varchar(2000)）、非文字列カラムのバイトサイズを増やす（例：smallint -> integer）、といった変更を行います。

• は、カラムがデータソーステーブルから削除されている場合でも、同期先テーブルからはカラムを削除しません。
• は、データソースでデータ型のサイズが更新された場合でも（varchar(2000) -> varchar(255)）、同期先カラムのサイズは小さくしません。