メインコンテンツへスキップ
CData Sync パイプラインとは、ジョブ、変換、スクリプト、およびその他のアクションを1つのワークフローとして実行するシーケンスです。デフォルトでは、ステップは表示された順序で順番に実行されます。パイプラインには並列ブランチを含めることもでき、複数のステップシーケンスを並列して実行できます。各ブランチは独立して実行され、すべてのブランチが完了するまでパイプラインは完了しません。 パイプライン内のステップは、個々の作業単位を表します。各パイプラインには1つ以上のステップが含まれており、Sync はこれらのステップをパイプライン内に表示される順序で実行します。ただし、並列ブランチ内のステップは並列して実行されます。 Sync は以下のステップの種類をサポートしています:
  • レプリケーションステップ: 既存の Sync ジョブを使用して、ソース接続から同期先接続にデータをレプリケートします。レプリケーションステップでは、標準、すべて同期、Change Data Capture、または Load From Folder ジョブタイプを使用できます。
  • リバースETL ステップ: 既存のリバースETL ジョブを使用して、同期先からソースシステムにデータを戻します。
  • 変換ステップ: 既存の変換を使用して、パイプラインの一部としてデータを変更または処理します。
  • イベントステップ: API スクリプトまたは Python スクリプトを実行して、外部プロセスを統合したり、パイプラインの動作を拡張したりします。
パイプラインを使用すると、レプリケーションジョブ、リバースETL ジョブ、変換、およびイベントベースのスクリプトを 1 つの自動化された実行フローに組み合わせることで、マルチステップワークフローを調整できます。 以下のセクションでは、パイプライン サマリページの機能と以下のタスクについて説明します:

パイプラインの表示

パイプライン ページにアクセスするには、Sync インターフェースの左ナビゲーションバーにある パイプライン をクリックします。パイプライン ページを初めて開くと、パイプラインがないことを示すメッセージと パイプラインを追加 ボタンが表示されます。 最初のパイプラインを作成するには、パイプラインを追加 をクリックし、ドロップダウンメニューから パイプラインを追加 を選択します(下記参照)。パイプラインの作成手順の詳細については、パイプラインの追加 を参照してください。 パイプラインの表示 パイプラインを 1 つ以上作成すると、ナビゲーションバーの パイプライン をクリックして、現在のワークスペース内のすべてのパイプラインを表示するサマリページが開きます。このページには 概要 と 履歴 の 2 つのタブがあり、パイプラインとその実行アクティビティの詳細が表示されます。 以下のセクションでは、各タブで確認できる情報について説明します。

概要タブ

概要 タブには、パイプラインの概要を示すテーブルが表示され、一か所からパイプラインを管理できます。 各パイプラインは個別の行に表示され、各パイプラインの情報が列に表示されます。ページ下部の ページあたりの件数 リストから値を選択することで、ページに表示するパイプラインレコード数を制御できます(下記参照)。 概要タブ Sync は 6 つの列でパイプラインの詳細を提供します:
  • 名前: パイプラインの名前とパイプラインフロー内のステップ数を表示します。
  • 同期先: 同期先コネクタを表示し、そのコネクタの設定へのリンクを提供します。
  • スケジュール: ジョブの実行スケジュールを表示します。詳細については、パイプラインの実行スケジュールの設定 を参照してください。
  • 最後の実行: パイプラインの最後の実行ステータス(新規、実行中、成功、失敗)を表示します。
    並列ブランチを含むパイプラインでは、ブランチが失敗してもパイプラインのステータスがすぐに変わるとは限りません。パイプラインステップでエラー時にフローを停止オプションが有効になっている場合、Sync は残りのブランチをキャンセルしますが、実行中のすべてのブランチが完了または停止するまでパイプラインのステータスは実行中のままです。エラー時にフローを停止が無効になっている場合、残りのブランチは実行を続け、すべてのブランチが完了するまでパイプラインは完了しません。
  • 次の実行: パイプラインの次回実行日時を表示します。
  • 作成日時: パイプラインが作成された日時を表示します。
このタブでは、以下の方法でパイプラインを管理することもできます:
  • 名前 列のパイプライン名をクリックして、エディタでパイプラインを表示します。
  • スケジュール 以外のすべての列でパイプラインリストを昇順または降順に並べ替えます。並べ替え順序を変更するには、列ヘッダーの横にある上(↑)または下(↓)矢印をクリックします。
  • 同期先でパイプラインテーブルをフィルタリングします。フィルタを適用した後、フィルタメニューの右にある リセット リンクをクリックしてすべてのフィルタオプションをクリアできます。
  • パイプライン行の末尾にあるオプションメニュー(…)をクリックして希望のアクションを選択することで、パイプラインの設定を編集したり、パイプラインのエクスポートや削除を行えます。

履歴タブ

履歴 タブには、実行したパイプラインの履歴情報が表示されます。このページのテーブルには、パイプラインの詳細を示す 5 つの列があります:
  • 実行日時: パイプラインが実行された日時、実行にかかった時間、および影響を受けた行数を表示します。エラーが発生した場合、この列にエラーメッセージが表示されます。
  • パイプライン: パイプラインの名前とパイプライン内のステップ数を表示します。
  • 同期先: 同期先コネクタを表示し、そのコネクタの設定へのリンクを提供します。
  • ステータス: パイプラインの実行ステータス(成功、失敗、エラー)を表示します。
  • 処理時間: 時間、分、秒(HH:MM:SS 形式)で実行時間を表示します。 履歴タブ
このタブでは、以下の方法でパイプライン履歴を管理することもできます:
  • 実行日時 列または パイプライン 列を使用してパイプライン履歴リストを昇順または降順に整理します。並べ替えるには、並べ替えたい列の横にある上(↑)または下(↓)矢印をクリックします。
  • パイプライン、同期先、ステータスで履歴テーブルをフィルタリングします。他のタブとは異なり、履歴 タブではフィルタオプションを保存できません。フィルタを設定した後、以下の 2 つの方法でフィルタオプションをクリアできます:
    • フィルタを開いてフィルタリストの下部にある クリア をクリックすることで、個々のフィルタをクリアします。クリア をクリックすると、選択した項目の選択が解除されます。 フィルタをクリア
    • フィルタメニューの右にある リセット リンクをクリックしてすべてのフィルタをクリアします。
  • ウィンドウの右上にある ログをエクスポート ボタンをクリックして、パイプラインログをローカルマシンにエクスポートします。

パイプラインの追加

パイプラインを追加するには、事前にソース接続と同期先接続を設定する必要があります。データソースへのソース接続とデータベースへの同期先接続を定義したら、以下の手順で新しいパイプラインを作成します:
  1. ナビゲーションバーの パイプライン をクリックして パイプライン ページを開きます。
  2. パイプラインを追加 > パイプラインを追加 を選択します。この操作で パイプラインを追加 ダイアログが開き、パイプライン情報を入力できます。
  3. パイプライン名を入力して同期先を選択します。 名前と同期先のフィールドを含むパイプラインを追加ダイアログ
  4. ステップの種類を選択します。ステップの種類の詳細については、このページの前半にあるステップの説明を参照してください。 Notes:
    • 以下の例ではレプリケーションステップを使用します。レプリケーションステップ の下で 新しいレプリケーションジョブを追加 または 既存のレプリケーションジョブを変換 を選択します。 レプリケーションステップの種類の選択 ステップを選択すると新しいダイアログが開きます。この例では 新しいレプリケーションジョブを追加 ステップを使用するため、新しいレプリケーションジョブを追加 ダイアログが開きます。
    • 既存のレプリケーションジョブを変換 ステップは、既存のジョブをパイプラインステップに直接取り込みます。既存のジョブにカスタムイベントが含まれている場合、Sync はそれらのイベントもパイプラインステップとして追加します。パイプライン環境での実行時の競合を回避するため、パイプラインに追加された後は、既存のジョブのジョブ実行前イベントスクリプトを手動で更新する必要があります。 具体的には、<input> 変数を <api:info> ブロックから削除する必要があります。これらの値はスタンドアロンジョブにのみ適用され、パイプラインフローでは使用されないためです。これらの変数をブロック内に残しておくと、パイプラインの実行時に Sync がエラーを返します(下記参照): イベントスクリプトの入力変数によるパイプラインエラー パイプラインのイベントスクリプトを編集する方法については、パイプライン内のステップの編集 を参照してください。
  5. ダイアログの各タブで以下の情報を指定します:
    • データソースタブ: ジョブ名を入力し、ソース接続を選択して、レプリケーションタイプを選択します。その後、次へ をクリックします。 ジョブ名とソース接続のフィールドを含むデータソースタブ
    • タスクを追加タブ: レプリケートするテーブルまたはビューを 1 つ以上選択します。その後、次へ をクリックします。 テーブル選択を含むタスクを追加タブ
    • 同期先タブ: 同期先を確認し、必要に応じてスキーマを選択します。その後、次へ をクリックします。 スキーマ選択を含む同期先タブ
    • プレビュータブ: 設定を確認します。設定に問題がなければ、追加をクリックしてレプリケーションジョブを作成します。 パイプライン設定の概要を示すプレビュータブ
新しいレプリケーションジョブを追加 ダイアログのいずれかのステップで キャンセルをクリックすることで、いつでもパイプラインの作成をキャンセルできます。
これらの手順を完了すると、Sync はステップをパイプラインに追加し、以下のようにビジュアルワークフローを表示します: ステップ追加後のパイプラインのビジュアルワークフロー パイプライン エディタ(パイプライン > YourPipelineName)から、パイプラインの編集、スケジュールの設定、関連ジョブの編集、およびメール通知の有効化を行えます。

パイプラインの編集

パイプラインを作成した後、その名前を変更できます。 パイプラインを編集するには:
  1. パイプライン ページを開き、編集するパイプラインを見つけます。
  2. パイプライン行の末尾にあるオプションメニュー(…)をクリックして 編集を選択します(または、パイプライン名のリンクをクリックしてパイプラインページに移動することもできます)。この操作で パイプライン エディタが開き、パイプラインの構造や設定を変更できます。
  3. パイプライン エディタで、エディタページの左上隅にある選択パスのオプションメニュー(…)をクリックします: 左上隅にあるパイプラインエディタのオプションメニュー この操作で パイプラインを編集 ダイアログが開き、パイプライン名を変更できます。
  4. 保存 をクリックします。

パイプラインの実行

パイプラインを実行するには:
  1. パイプラインを開きます。
  2. パイプラインのスタートステップで実行をクリックします。
パイプラインが実行されると、Sync はエディタウィンドウの右側に 実行履歴 ペインを開きます。このペインには、実行日時、総実行時間、および現在の実行ステータス(実行中、成功、失敗)が表示されます。 パイプラインの実行ステータスを示す実行履歴ペイン
Sync はパイプラインの実行中またはキャンセル中は、パイプライン構造の変更を許可しません。

パイプライン内のステップの編集

パイプラインのステップを編集するには:
  1. パイプラインを開きます。
  2. 変更するステップを見つけて、そのステップのオプションメニュー(…)をクリックします。
  3. ステップに対して実行するアクションを選択します。以下の例(レプリケーションジョブステップの場合)では、ジョブを編集 または ジョブを削除 を選択できます。 ジョブを編集とジョブを削除を示すステップオプションメニュー ジョブを編集 を選択すると、Sync はジョブ設定ページを開き、必要に応じてジョブを変更できます。 ジョブ名の右側に パイプライン アイコンが表示されます。このアイコンにカーソルを合わせると、Sync はジョブが属するパイプラインの名前を表示します。 パイプライン名を示すパイプラインアイコンのツールチップ
  4. ジョブ設定への変更を保存します。パイプライン エディタに戻るには、ブラウザの戻る矢印をクリックします。Sync はパイプラインを更新して変更内容を反映します。

パイプラインへのステップの追加

順次ステップと並列ブランチを追加して、パイプラインワークフローを構築できます。

順次ステップの追加

パイプラインに複数の順次ステップを追加できますが、各ステップは個別に追加する必要があります。 ステップを追加するには:
  1. パイプラインを開きます。
  2. フロー内のいずれかの接続線にカーソルを合わせて、新しいステップを挿入する場所を選択します。
  3. 表示される ステップを追加 アイコン(プラス記号の付いた青い円)をクリックします。 接続線上に表示されるステップを追加アイコン この操作で ステップの種類を選択 ダイアログが開きます。
  4. 追加するステップのタイプを選択します。
  5. ダイアログの手順に従って、新しいステップを設定して追加します。詳細な設定手順については、パイプラインの追加のステップ5を参照してください。 以下の例では、元のステップの後に変換ステップ(MyTransformation)が追加されています。 元のステップの後に変換ステップが追加されたパイプライン 追加のステップを追加するには、必要に応じて上記の手順を繰り返します。

並列ブランチの追加

並列ブランチを追加することで、1つのパイプライン内で2つ以上のステップを並列して実行できます。並列ステップの実行順序は保証されず、すべての並列ブランチが完了して初めてパイプラインが完了します。 並列ブランチを追加するには:
  1. パイプラインを開きます。
  2. 2つのステップ間の線にカーソルを合わせて ステップを追加 アイコンを表示します。アイコンはクリックしません。代わりに、フロー図内に新しいブランチを配置するため、既存のステップの左右にポインタを移動します。次に、そのブランチの接続線にある ステップを追加 アイコンをクリックします。 並列ブランチコネクタの間に表示されるステップを追加アイコン
  3. ステップの種類を選択 ダイアログで追加するステップタイプを選択し、設定手順を完了します。残りの設定手順の詳細については、パイプラインの追加のステップ5を参照してください。
手順を完了すると、Sync は以下のように新しいブランチを既存のフローの横に追加します。必要な場所に並列ブランチを追加し続けることができます。 フローに追加された新しい並列ブランチを示すパイプラインエディタ ブランチ内のステップの順序を変更するには、ステップを同じブランチ内の別の位置にドラッグします。ステップを別のブランチに移動するには、ターゲットブランチにドラッグします。操作が無効な場合、Sync は自動的にステップを元の位置に戻します。
各ステップノードには エラー時にフローを停止 トグルがあります。このトグルが有効の場合、ブランチが失敗するとSync は残りのブランチをキャンセルします。無効の場合、すべてのブランチはエラーに関わらず実行を続け、すべてのブランチが完了して初めてパイプラインが完了します。

パイプライン内のステップの削除

パイプラインのステップを削除するには:
  1. パイプラインを開き、削除するステップを見つけます。
  2. そのステップのオプションメニュー(…)をクリックして、_ステップタイプ_を削除 を選択します(ステップタイプ はステップタイプ名、例えば ジョブを削除 や 変換を削除)。この操作で _ステップタイプ_を削除 ダイアログが開きます。 ダイアログでは、以下のオプションを選択できます:
    • ステップのみ削除: このオプションはパイプラインからステップを削除しますが、基盤となるコンポーネント(ジョブ、変換、またはイベント)は別のパイプラインやスタンドアロンコンポーネントとして使用できるよう保持されます。
    • ステップと_コンポーネント_を削除: このオプションはステップを削除し、基盤となるコンポーネントを Sync から完全に削除します。
  3. 以下の例に示すように、希望するオプションを選択します: 削除オプションを含むステップを削除ダイアログ
  4. 削除をクリックします。

パイプラインの管理

パイプラインを追加またはインポートすると、Sync はそれをビジュアルワークフロー図として表示します。パイプラインエディタからパイプラインの設定、実行、監視を管理できます。
  • エディタページの左上隅に、Sync はパイプライン名とオプションメニュー(…)を表示します。このメニューからパイプラインを編集、エクスポート、または削除できます。
  • ページの右上隅には、通知トグル、通知を編集(通知を編集アイコン)アイコン、および 実行履歴 ボタンなどの追加コントロールがあります。実行履歴 をクリックすると、サイドペインにパイプラインの実行履歴が表示されます。
  • パイプラインワークフローはエディタページの中央に表示され、以下のノードと機能で構成されています。
    • パイプラインスタートノード: このノードはパイプラインの実行とスケジュールのコントロールを提供します。
      • 実行 ボタンでパイプラインを手動実行できます。
      • スケジュールが設定されていない場合は スケジュールを追加 リンクが表示されます。リンクをクリックすると スケジュールを追加 ダイアログが開き、実行間隔を定義できます。スケジュールを設定すると、その情報が パイプラインスタート ノードに表示されます。オプションメニュー(…)をクリックして適切なオプションを選択することで、スケジュールを編集または削除できます。
    • ステップノード: パイプライン内のノードとして表示される各ステップには、以下の情報とアクションが含まれています:
      • ステップの種類(ジョブ、リバースETL、変換、またはイベント)
      • ジョブ、変換、またはイベントタイプ
      • ステップに設定されているタスク数
      • ステップを編集または削除するためのオプションメニュー(…)
      • エラー時にフローを停止 トグル
      • ステップに関連付けられたソースと同期先コネクタ
    • パイプラインエンドノード: このノードはパイプラインワークフローの完了を示し、最後のステップが実行された後に実行が停止するポイントを表します。

パイプラインの実行スケジュールの設定

パイプラインを定義されたスケジュールで自動実行するよう設定できます。 パイプラインの実行をスケジュールするには:
  1. パイプラインスタート ノードの スケジュールを追加 リンクをクリックします。 パイプラインスタートノードのスケジュールを追加リンク リンクをクリックすると、Sync は スケジュールを追加 ダイアログを開きます。
  2. パイプラインに設定する実行間隔を選択します。その後、スケジュールを追加 をクリックします。 実行間隔選択を含むスケジュールを追加ダイアログ
スケジュールを追加すると、設定された実行間隔が以下のように パイプラインスタート ノードに表示されます。 設定された実行スケジュールを示すパイプラインスタートノード

メール通知の有効化

パイプライン実行後に送信されるメール通知を設定できます。 パイプラインのメール通知を有効にするには:
  1. パイプライン エディタの右上にある通知トグルを右にスライドします。
  2. (オプション)グローバル通知設定を上書きするには、トグルの右にある 通知を編集(通知を編集アイコン)アイコンをクリックします。この操作で 通知ダイアログが開きます。
  3. グローバル設定をオーバーライド を選択し、必要に応じて通知設定を変更します。 グローバル設定をオーバーライドオプションを含む通知ダイアログ
  4. 保存 をクリックして変更を適用します。

パイプラインのエクスポート

Sync からローカルマシン上のファイルにパイプラインをエクスポートできます。 パイプラインをエクスポートするには:
  1. パイプライン サマリページを開きます。
  2. エクスポートするパイプラインを見つけます。
  3. パイプライン行の末尾にあるオプションメニュー(…)をクリックして エクスポートを選択します。または、パイプラインを開いて パイプライン エディタの左上隅にあるオプションメニューをクリックし、パイプラインをエクスポート を選択することもできます。
プロンプトが表示されたら、エクスポートしたパイプラインファイルを保存するマシン上の場所を選択します。 Sync はパイプラインファイル(syncpipeline 拡張子付き)をマシンにダウンロードします。このファイルはバックアップ目的で保存したり、後で別のワークスペースや環境にインポートしたりできます。

パイプラインのインポート

ローカルマシン上の場所から .syncpipeline ファイルを Sync にインポートできます。 パイプラインをインポートするには:
  1. パイプライン サマリページを開きます。
  2. パイプラインを追加 > パイプラインをインポート を選択します。この操作で パイプラインをインポート ダイアログが開きます。
  3. ファイルを選択 をクリックしてファイルエクスプローラーを開きます。インポートするパイプラインファイルを選択して 開くをクリックします(ファイルの拡張子は .syncpipeline である必要があります)。
  4. パイプラインをインポート ダイアログの インポートをクリックして、パイプラインを Sync にインポートします。 パイプラインをインポートダイアログ
このファイルは後で Sync の任意のワークスペースにインポートできます。

パイプラインの削除

パイプラインは以下のいずれかの方法で削除できます:
  • パイプライン サマリページで、パイプライン行の末尾にあるオプションメニュー(…)をクリックして 削除を選択します。
  • パイプライン エディタで、ページの左上隅にあるオプションメニュー(…)をクリックして パイプラインを削除 を選択します。 パイプラインを削除オプションを含むパイプラインエディタのオプションメニュー

パイプライン変数の使用

パイプライン変数を使用すると、パイプライン実行の開始時に値を一度定義し、パイプライン全体の任意のタスククエリや変換でその値を参照できます。このアプローチにより、値をハードコーディングすることなく、複数のステップにわたって動的な値(カスタムフィルタ値など)を簡単に再利用できます。

組み込みアトリビュートについて

パイプラインが開始されると、Sync は以下の読み取り専用パイプラインアトリビュートを自動的に作成します。
  • id: パイプラインの一意の識別子。
  • name: パイプラインの名前。
  • runstartdate: パイプライン実行が開始された日時。
これらのアトリビュートはパイプラインのすべてのステップで使用でき、変更することはできません。

カスタム変数の定義

パイプラインの最初のノードから … > 変数の設定 を選択することで、カスタムパイプライン変数を定義できます。 変数の設定オプション これにより 変数の設定 API スクリプトダイアログが開き、イベントステップのスクリプトを入力できます。このイベントステップは他のパイプラインステップより前に実行され、定義した変数はパイプライン実行全体で使用できます。 カスタム変数を定義するには、イベントステップのスクリプトで以下の構文を使用します。myvar は変数名に置き換えてください。
例えば、カットオフ日付を定義するには、カスタム変数を cutoffdate として以下のスクリプトを実行します。
pipeline: プレフィックスなしで変数を定義した場合、Sync はその変数を拒否してエラーを生成します。

パイプライン変数の参照

レプリケーションクエリおよび変換でパイプライン変数を参照できます。パイプライン変数を参照するには、次の構文を使用します:{pipeline:variablename} この構文は、組み込みアトリビュートとカスタム変数の両方で使用できます。 例えば、REPLICATE クエリでカスタム変数を参照するには、次のステートメントを実行します。
組み込みアトリビュートを参照するには、次のようなクエリを実行します。

変数の優先順位について

パイプライン変数は、パイプライン実行全体のグローバルなデフォルト値として機能します。ただし、パイプラインステップの出力にカスタムパイプライン変数と同じ名前のキーが含まれている場合、後続のステップはそのステップの出力値を使用します。 一方、組み込みの読み取り専用アトリビュート(id、name、runstartdate)は、いかなる状況でも上書きすることはできません。

パイプライン外でのジョブの実行

タスククエリがパイプライン変数を参照していて、関連するジョブがパイプライン外(手動、再同期、またはスタンドアロンジョブとして実行)で実行される場合、パイプライン変数は使用できません。ジョブは実行されますが、タスク結果にエラーが返されます。