> ## Documentation Index
> Fetch the complete documentation index at: https://docs.sync.cdata.com/llms.txt
> Use this file to discover all available pages before exploring further.

# Amazon S3

CData Sync アプリケーションからAmazon S3 コネクタを使用して、サポートされている任意のデータソースから同期先のAmazon S3 へデータを移動できます。これを行うには、コネクタを追加し、コネクタへの認証を行い、接続を完了する必要があります。## LakeBridge Connector for Delta Parquet and Apache Iceberg**Delta Parquet** および**Apache Iceberg** ファイル形式には、LakeBridge コネクタが必要です。Amazon S3 同期先をこれらのいずれかのファイル形式で構成する前に、Sync にLakeBridge コネクタをインストールしてください。Sync は、起動時に、ローカルマシン上でLakeBridge サーバーをバックグラウンドサービスとして起動します。Delta Parquet またはApache Iceberg のジョブが実行されると、LakeBridge サーバーはそのジョブ専用のSpark JVM を起動し、ジョブの終了後にシャットダウンします。これにより、各ジョブのメモリが分離され、独立したSpark セッションで複数のジョブを並列に実行できます。デフォルトでは、最大3つのLakeBridge ジョブを同時に実行できます。この上限は、**システム設定** > **高度な設定** > **その他の設定**の`MaxConcurrentLakeBridgeJobs` 設定で変更できます。詳細については、[メモリ管理](https://docs.sync.cdata.com/26.4/ja/getting-started/installation-and-configuration/memory-management.md)を参照してください。LakeBridge コネクタをインストールするには：<ol>
  <li>Sync で、**接続**に移動します。</li>

  <li>
    Amazon S3 の行の末尾にある\*\*... > コネクタをアップデート\*\*を選択します。

    > [!NOTE]
    >
    > この手順を完了する前に、Amazon S3 コネクタを追加する必要があります。手順については、以下の「Amazon S3 コネクタを追加」を参照してください。
  </li>

  <li>**コネクタをアップデート**ダイアログで**新しいバージョンを追加**を選択します。</li>
  <li>CData Sync サポートチームから提供された`lakebridge.zip` ファイルをアップロードします。</li>
  <li>**更新**をクリックします。</li>
</ol>新しいバージョンのLakeBridge コネクタをインストールすると、LakeBridge サーバーが停止し、次回のジョブ実行時に自動的に再起動します。Sync の再起動は不要です。## Microsoft Windows Prerequisites for Delta ParquetMicrosoft Windows オペレーティングシステム（OS）でAmazon S3 同期先を**Delta Parquet** ファイル形式で設定する前に、お使いの環境が以下で説明する要件を満たしていることを確認してください。これらの前提条件により、Sync がWindows 環境下で必要なHadoop バイナリを検出し、Delta Lake と正しく連携できるようになります。以下のようにWindows OS を設定します：<ul><li>Hadoop バイナリをダウンロードします（推奨バージョン：2.8.1 以降）。</li>
<li>`HADOOP_HOME` 環境変数がHadoop のインストールディレクトリを指すようにします。</li>
<li>`%HADOOP_HOME%\bin` が`PATH` システム変数に含まれていることを確認します（具体的には、`%HADOOP_HOME%\bin\winutils.exe` にアクセスできる必要があります）。</li></ul>この設定が必要な理由は、Delta Lake（Spark 上）がHadoop のファイルシステムAPI を使用して、ローカルストレージ、Hadoop 分散ファイルシステム（HDFS）、およびAmazon S3 のようなクラウドオブジェクトストアにアクセスするためです。Windows 環境下では、Spark が正しく機能するために、Hadoop バイナリ（winutils.exe やその他のネイティブライブラリを含む）を検出できる必要があります。この設定を行わないと、Delta テーブルへの書き込み、チェックポイントの管理、クラウドストレージへのアクセスなどの操作が、権限エラーやファイルシステムエラーで失敗することがあります。## Supported File FormatsWhen Sync writes data to Amazon S3, you can choose the file format for the exported data. The following file formats are supported for the Amazon S3 destination:- (Default) **Delta Parquet：** A format that uses a Delta Lake storage layer on top of the Parquet file format that is used by Sync to support delta processing. *Delta processing* is a method where, after your initial job run, only new or modified files are written or read in subsequent runs, which can reduce job times and resource use.

  **Limitations:**

  * **Naming restrictions:** Table and column names cannot include special characters or reserved SQL and Delta Lake keywords. Examples of special characters include spaces, commas, semicolons, braces, parentheses, equal signs, and the newline (`\n`) and tab (`\t`) characters.
  * **Primary keys:** Primary key constraints are not supported. Sync uses the source primary keys for incremental replication.
  * **Data types:** Unlike traditional databases, Delta Lake does not support column-size definitions (for example, `VARCHAR(100)`). It supports only a fixed set of data types and allows type widening when necessary.
  * **Schema changes:** The ALTER TABLE command supports only adding new columns. Changing the data type of an existing column (for example, from INT to VARCHAR) is not supported.
  * **Delete operations:** In standard jobs, both hard and soft deletions are supported. In CDC and enhanced CDC jobs, only soft deletions are supported.
- **Apache Iceberg：** A high-performance table format that supports atomicity, consistency, isolation, and durability (ACID) transactions and schema evolution.
- **CSV：** Plain text comma-separated values.
- **Avro：** A row-based binary format that supports schema evolution.
- **Parquet：** A columnar storage format that is optimized for analytics.## Amazon S3 コネクタを追加Sync でAmazon S3 のデータを使用できるようにするには、まず以下の手順でコネクタを追加する必要があります：<ol>
  <li>Sync のダッシュボードから**接続**ページを開きます。</li>
  <li>**接続を追加**をクリックして**コネクタを選択**ページを開きます。</li>
  <li>**同期先**タブをクリックして
  **Amazon S3** 行に移動します。</li>

  <li>
    行末にある**接続を設定**アイコンをクリックして、**新しい接続**ページを開きます。この操作により、
    **接続を追加**ダイアログボックスが開きます。

    **Note：** **接続を設定**アイコンが表示されない場合は、**コネクタをダウンロード**アイコンをクリックして Amazon S3 コネクタをインストールしてください。
  </li>

  <li>**接続を追加**ダイアログボックスに接続名を入力します。</li>
  <li>**追加**をクリックして、コネクタの**設定**タブを開きます。</li>
</ol>新しいコネクタのインストールについての詳細は、
[接続](https://docs.sync.cdata.com/26.4/ja/connections/connections.md)を参照してください。## Amazon S3 への認証After you add the connector, you need to set the required properties.- **File Format:** Select the file format that you want to use: **Delta Parquet**, **Apache Iceberg**, **CSV** (default), **Avro**, or **Parquet**.
- **URI:** Enter the path of your bucket and folder (for example, `s3://BucketName/FolderName`).
- **AWS Region:** Select the hosting region for Amazon Web Services. The default region is **NORTHERNVIRGINIA**.CData Sync supports authenticating to Amazon S3 in several ways, based on the file format that you select.- [**AWS Root Keys**](#aws-root-keys) (default)
- [**AWS EC2 Roles**](#aws-ec2-roles)
- [**AWS IAM Roles**](#aws-iam-roles)
- [**Active Directory Federation Services**](#active-directory-federation-services)
- [**Okta**](#okta)
- [**PingFederate**](#pingfederate)
- [**AWS Temporary Credentials**](#aws-temporary-credentials)
- [**AWS Credentials File**](#aws-credentials-file)
- [**Azure Active Directory**](#azure-active-directory)**Note:** The full list of authentication methods above are for all file formats except **Delta Parquet**. That format uses only the **AWS Root Keys** method.### AWS Root Keysアカウントのルート認証情報で接続するには、次のプロパティを指定します：<ul><li>\*\*Auth Scheme：\*\***AwsRootKeys** を選択。</li>
<li>\*\*AWS Access Key：\*\*Amazon Web Services（AWS）アカウントのアクセスキーを入力。この値は、AWS のセキュリティ認証情報ページで確認できます。</li>
<li>\*\*AWS Secret Key：\*\*AWS アカウントのシークレットキーを入力。この値は、AWS のセキュリティ認証情報ページで確認できます。</li></ul>- (Optional) **MFA Serial Number:** Enter the serial number for your multifactor authentication (MFA) device, if you are using such a device.
- (Optional) **MFA Token:** Enter the temporary token that is available from your MFA device.
- **Temporary Token Duration:** Enter the duration, in seconds, that you want for your temporary credentials. The default duration is **3600**.### AWS EC2 RolesEC2 インスタンスでCData Sync を実行すると、CData Sync はインスタンスに割り当てられたIAM ロールを使用して認証できます。そのロールを使用するには、**Auth Scheme** で**AwsEC2Roles** を選択します。追加のプロパティは必要ありません。### AWS IAM RolesIAM ユーザー認証情報で接続するには、次のプロパティを指定します：<ul><li>\*\*Auth Scheme：\*\***AwsIAMRoles** を選択。</li>
<li>\*\*User：\*\*Amazon S3 アカウントへの認証に使用するユーザー名を入力。</li>
<li>\*\*AWS Access Key：\*\*Amazon Web Services（AWS）アカウントのアクセスキーを入力。この値は、AWS のセキュリティ認証情報ページで確認できます。</li>
<li>\*\*AWS Secret Key：\*\*AWS アカウントのシークレットキーを入力。この値は、AWS のセキュリティ認証情報ページで確認できます。</li>
<li>\*\*AWS Role ARN：\*\*認証したいロールのAmazon リソースネーム（ARN）を入力。</li>
<li>（オプション）\*\*AWS External Id：\*\*別のアカウントでロールを引き受ける際に必要となる一意の識別子を入力。</li></ul>- (Optional) **MFA Serial Number:** Enter the serial number for your multifactor authentication (MFA) device, if you are using such a device.
- (Optional) **MFA Token:** Enter the temporary token that is available from your MFA device.
- **Temporary Token Duration:** Enter the duration, in seconds, that you want for your temporary credentials. The default duration is **3600**.### Active Directory Federation ServicesTo connect with single sign-on (SSO) via Active Directory Federation Services (ADFS), specify the following properties:- **Auth Scheme:** Select **ADFS**.
- **User:** Enter the username that you use to authenticate to your ADFS account.
- **Password:** Enter the password that you use to authenticate to your ADFS account.
- **SSO Login URL:** Enter the login URL that is used by your SSO provider.
- **Use Lake Formation:** Select whether you want the AWS Lake Formation service to retrieve temporary credentials. These temporary credentials enforce access policies against the user based on the configured IAM role. You can use this service when you authenticate through AzureAD, Okta, ADFS, and PingFederate, while providing a Security Assertion Markup Language (SAML) assertion. By default, the **Enable** checkbox is not selected.
- (Optional) **SSO Properties:** Enter a semicolon-separated list of the single sign-on (SSO) properties that you want to use (for example, SSOProperty1=Value1;SSOProperty2=Value2; ...).### OktaTo connect with single sign-on (SSO) via Okta, specify the following properties:- **Auth Scheme:** Select **Okta**.
- **User:** Enter the username that you use to authenticate to your Okta account.
- **Password:** Enter the password that you use to authenticate to your Okta account.
- **SSO Login URL:** Enter the login URL that is used by your SSO provider.
- **Use Lake Formation:** Select whether you want the AWS Lake Formation service to retrieve temporary credentials. These temporary credentials enforce access policies against the user based on the configured IAM role. You can use this service when you authenticate through AzureAD, Okta, ADFS, and PingFederate, while providing a Security Assertion Markup Language (SAML) assertion. By default, the **Enable** checkbox is not selected.
- (Optional) **SSO Properties:** Enter a semicolon-separated list of the single sign-on (SSO) properties that you want to use (for example, *SSOProperty1*=*Value1*;*SSOProperty2*=*Value2*;...).### PingFederate
      \<ul><li>**Auth Scheme：****PingFederate** を選択。</li>
        \<li>**User：**PingFederate アカウントへの認証に使用するユーザー名を入力。</li>
        \<li>**Password：**PingFederate アカウントへの認証に使用するパスワードを入力。</li>
        \<li>**SSO Login URL：**シングルサインオン（SSO）プロバイダーが使用するログインURL を入力。</li>
        \<li>**SSO Exchange UrI：**PingFederate サーバーインスタンスに設定されているPartner Service Identifier URI を入力。URI は**SP Connections > SP Connection > WS-Trust > Protocol Settings** で入手可能です。</li>
        \<li>**Use Lake Formation：**AWS Lake Formation サービスに一時的な資格情報を取得させたい場合は**True** を選択。この一時的な資格情報は、設定されたIAM ロールに基づいてユーザーに対するアクセスポリシーを適用します。このサービスは、Security Assertion Markup Language（SAML）アサーションを提供しながら、AzureAD、Okta、ADFS、PingFederate のいずれかを介して認証する場合に使用できます。**Use Lake Formation** のデフォルト設定は**False** です。</li>
        \<li>（オプション）**AWS Principal ARN：**お使いのAWS アカウント内のSecurity Assertion Markup Language（SAML）ID プロバイダーのAmazon リソースネーム（ARN）。</li>
        \<li>（オプション）**SSO Properties：**使用するシングルサインオン（SSO）プロパティをカンマ区切りで入力（例えば、*SSOProperty1*=*Value1*;*SSOProperty2*=*Value2*;...）。</li></ul>
    ### AWS Temporary CredentialsTo connect with AWS temporary credentials, specify the following properties:- **Auth Scheme:** Select **AwsTempCredentials**.
- **AWS Access Key:** Enter the access key that is associated with your Amazon Web Services (AWS) account. This value is accessible from your AWS security credentials page.
- **AWS Secret Key:** Enter the secret key that is associated with your AWS account. This value is accessible from your AWS security credentials page.
- **AWS Session Token:** Enter your AWS session token. This token is provided with your temporary credentials. For more information, see [AWS Identity and Access Management: User Guide](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_credentials_temp_use-resources.html).### AWS Credentials File認証情報ファイルで接続するには、次のプロパティを指定します：<ul><li>\*\*Auth Scheme：\*\***AwsCredentialsFile** を選択。</li>
<li>\*\*AWS Credentials File：\*\*Amazon Web Services（AWS）認証情報ファイルの場所を入力。</li>
<li>（オプション）**AWS Credentials File Profile：**指定した認証情報ファイルから使用するAWS プロファイルの名前を入力。プロファイル名を入力しない場合、Sync は**default** という名前のプロファイルを使用します。</li></ul>### Azure Active DirectoryTo connect with an Azure Active Directory (AD) user account, specify the following properties:- **Auth Scheme:** Select **AzureAD**.
- **Use Lake Formation:** Select whether you want the AWS Lake Formation service to retrieve temporary credentials. These temporary credentials enforce access policies against the user based on the configured IAM role. You can use this service when you authenticate through AzureAD, Okta, ADFS, and PingFederate, while providing a Security Assertion Markup Language (SAML) assertion. By default, the **Enable** checkbox is not selected.
- **OAuth Client Id:** Enter the client Id that you were assigned when you registered your application with an OAuth authorization server.
- **OAuth Client Secret:** Enter the client secret that you were assigned when you registered your application with an OAuth authorization server.## 接続を完了するTo complete your connection:1) Specify the following properties:

   **For all formats:**

   (Optional) **Storage Base URL:** Enter the URL of your cloud-storage service provider.

   **For the Delta Parquet, Apache Iceberg, and CSV file formats only:**

   * **FMT:** Enter the format that you want to use to parse all text files. The default format is **CsvDelimited**.
   * **Aggregate Files:** Specify whether you want to aggregate all the files that are located in the URI directory and that have the same schema into a single table named AggregatedFiles. The default option is **False**.
   * **Include Column Headers:** Select whether you want to obtain column headers from the first lines of the specified files. By default, the **Enable** checkbox is already selected.

   **For all file formats except Delta Parquet:**

   * **Data Model:** Select the data model that you want to use to parse documents for your format and to generate the database metadata. The default data model is **Document**.
   * **Aggregate Files:** Select whether you want to aggregate all the files that are located in the URI directory and that have the same schema into a single table named AggregatedFiles. By default, the **Enable** checkbox is not selected.<ol start="2"><li>**Advanced** タブで詳細な接続設定を定義します。（ただし、ほとんどの場合、これらの設定は不要です。）</li>
<li>**作成およびテスト**をクリックして接続を作成します。</li></ol>


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.