Databricks でサポートされている機能
Sync の Databricks 同期先は、以下の機能をサポートしており、最新の Databricks 環境との連携が可能です。
- Unity Catalog：カタログ、スキーマ、テーブルを含む Databricks データアセットの一元的なガバナンスを提供します。
- Delta Lake：分析ワークロード向けに信頼性が高くパフォーマンスに優れたストレージを提供します。
- Delta テーブル：Delta Lake 形式でデータを格納し、Unity Catalog を通じて管理できるテーブルです。
Delta テーブルにデータを読み込む際、Sync は、Databricks のネイティブ機能を活用した COPY INTO コマンドを使用して、ステージングされたデータを効率的に読み込みます。詳細については、Databricks Web サイトの COPY INTOを使用してデータをロードする を参照してください。
Databricks コネクタを追加
Databricks への認証
- Server： Databricks データベースをホストするサーバーのホスト名またはIP アドレスを入力します。
- HTTP Path： Databricks クラスターのHTTP パスを入力します。
- Catalog： カタログの名前を入力します。デフォルトのカタログ名はhive_metastore です。
- Personal Access Token（デフォルト）
- Basic
- User-to-Machine Authentication
- Machine-to-Machine Authentication
- Azure Service Principal
- Azure Active Directory
Personal Access Token
パーソナルアクセストークン（PAT）で接続するには、次のプロパティを指定します：- Auth Scheme： PersonalAccessToken を選択します。
-
Token： Databricks サーバーへの接続に使用するPAT を入力します。
トークンを取得するには：
- Azure Databricks ワークスペースで、上部のバーにあるユーザー名をクリックし、User Settings > Access Tokens を選択します。
- Developer をクリックします。
- Manage（Access tokens の横）をクリックします。次に、Generate new token > Generate をクリックします。
Basic
ユーザー資格情報で接続するには、次のプロパティを指定します：- Auth Scheme： Basic を選択します。
- User： Databricks アカウントへの認証に使用するユーザー名を入力します。
- Token： Databricks アカウントへの認証に使用するトークンを入力します。
User-to-Machine Authentication
User-to-machine（U2M）認証により、ツールやアプリケーション（コマンドラインインターフェースなど）にワークスペースへのアクセスを許可できます。この方法で認証するには、次のプロパティを指定します：- Auth Scheme： OAuthU2M を選択します。
- OAuth Level： アクセストークンを生成するレベルを選択します。
- AccountLevel： Databricks アカウントは、複数のワークスペースを含むことができる単一のエンティティを表します。Unity Catalog が有効なアカウントを使用すると、アカウント内のすべてのワークスペースにわたって、ユーザーとデータへのアクセスを一元的に管理できます。 このレベルでは、Databricks Account Id テキストボックスにアカウント識別子（Id）を入力する必要があります。
- WorkspaceLevel（デフォルト）： Databricks では、ワークスペースは、チームがDatabricks アセットにアクセスするための環境として機能する、クラウド上のDatabricks デプロイメントです。 このレベルでは、他の設定は必要ありません。
Machine-to-Machine Authentication
Machine-to-machine（M2M）認証は、ネットワーク経由で通信するデバイスまたはアプリケーションのIDを検証します。この方法で認証するには、次のプロパティを指定します：- Auth Scheme： OAuthM2M を選択します。
- OAuth Client Id： OAuth 認可サーバーにアプリケーションを登録したときに割り当てられたクライアントID を入力します。
- OAuth Client Secret： OAuth 認可サーバーにアプリケーションを登録したときに割り当てられたクライアントシークレットを入力します。
- OAuth Level： アクセストークンを生成するレベルを選択します。
- AccountLevel： Databricks アカウントは、複数のワークスペースを含むことができる単一のエンティティを表します。Unity Catalog が有効なアカウントを使用すると、アカウント内のすべてのワークスペースにわたって、ユーザーとデータへのアクセスを一元的に管理できます。 このレベルでは、Databricks Account Id テキストボックスにアカウントId を入力する必要があります。
- WorkspaceLevel（デフォルト）： Databricks では、ワークスペースは、チームがDatabricks アセットにアクセスするための環境として機能する、クラウド上のDatabricks デプロイメントです。 このレベルでは、他の設定は必要ありません。
Azure Service Principal
Azure サービスプリンシパルで接続するには、次のプロパティを指定します：- Auth Scheme： AzureServicePrincipal を選択します。
- Azure Tenant Id： Microsoft Azure Active Directory アプリケーションのテナントId を入力します。
- Azure Client Id： Microsoft Azure Active Directory アプリケーションのクライアントId を入力します。
- Azure Client Secret： Microsoft Azure Active Directory アプリケーションのクライアントシークレットを入力します。
Azure Active Directory
Azure Active Directory ユーザーアカウントで接続するには、次のプロパティを指定します：- Auth Scheme： AzureAD を選択します。
- Azure Tenant： データへのアクセスに使用するMicrosoft Online テナントを入力します。テナントを指定しない場合、Sync はデフォルトのテナントを使用します。
- OAuth Client Id： OAuth 認可サーバーにアプリケーションを登録したときに割り当てられたクライアントID を入力します。
接続を完了する
接続を完了するには：- （オプション）Database に、Databricks データベースの名前を入力します。