主要機能
追加
- Apache Doris をSync の同期先として追加しました。
- Apache Kafka 同期先コネクタを強化しました。
- スキーマレジストリがオプションになりました。レジストリを使用しない場合のデフォルトメッセージ形式はJSON です。
- 柔軟なトピックルーティングオプションを追加しました。
- パーティショニング戦略オプションを追加しました。
- Kafka メッセージヘッダーに運用メタデータを追加しました。
- ジョブ作成時に同期先スキーマ管理オプションを追加しました。データソーススキーマのレイアウトを同期先に保持するか、すべてのテーブルを単一の同期先スキーマに統合するかを選択できるようになりました。不足している同期先スキーマはレプリケーション時に自動的に検証・作成されます。
- パイプラインステップの並列実行のサポートを追加し、パイプライン全体の実行時間を短縮しました。
- パイプライン変数の設定機能を追加しました。
- 実行中のタスクに処理レコード数のリアルタイム表示を追加しました。同期タスクの実行中、同期先へのコミット済みレコードの累計数がリアルタイムで表示されるようになりました（従来は完了時のみ表示）。
- スナップショットの実行方法を制御する
SnapshotModeレプリケーションオプション（Incremental / Full / Skip）を追加しました。 - データソースの
CHAR(n)データ型を同期先でも保持するPreserveCharDatatypeレプリケーションオプションを追加しました。 - Microsoft SQL Server CDC ジョブで複数のCDC キャプチャインスタンスのサポートを追加しました。スキーマ変更をまたいで変更キャプチャの継続性が維持されます。
- SingleStore をデータソースとした差分レプリケーションのサポートを追加しました。
- DB2 for i CDC レプリケーションクエリで
RRN(Table)関数を使用したRRN 選択のサポートを追加しました。 - SAP HANA CDC でスキーマ変更が検出されると自動的にトリガーを再生成する機能を追加しました。
- CDC 変換ライブラリに
CONCAT、CAST、FORMAT、DATETIMEFROMPARTS関数を追加しました。
変更
LocalDateTimeのサポートをすべての同期先およびCDC データソースに拡張しました。新規ジョブでは、データソースと同期先の両方がサポートしている場合にUseLocalDateTimeが自動的に有効になり、タイムゾーン変換なしでタイムスタンプ値が保持されます。- Databricks、Snowflake、Azure Synapse、Amazon Redshift、Google BigQuery、CSV、Avro、Parquet 同期先のバルクロードパフォーマンスを改善しました。特にカラム数の多いテーブルで効果的です。
COPYステートメントを使用したバルクインサートによりPostgreSQL 同期先のパフォーマンスを改善しました。- 大規模な初期ロード中のタイムアウトを回避するため、スナップショットがトランザクション境界でマージされるようになりました。
- レプリケートエンジンの複数のステータステーブルを1つに統合しました。既存のステータステーブルをアップグレードできる場合はUI に通知が表示されます。また、より正確なジョブレポートのために新しい
PARTIAL_SUCCESSタスクステータスを追加しました。 - レプリケートクエリを独立したレプリケートエージェントの子プロセスで実行できるようになり、Sync アプリケーションの分離性と安定性が向上しました。アプリケーションデータベースがDerby またはH2 の場合は利用できません。
- タスクを追加ダイアログボックスを改善しました。タスク検索でスキーマのフィルタリングが可能になり、Microsoft SQL Server CDC ジョブではCDC またはChange Tracking が有効なテーブルのみが表示されるようになりました。
- 新規Oracle およびDB2 for i CDC ジョブで
SyncIdSourceColumnのデフォルトがOracleRowId/Db2Rrnになりました。主キーのないDB2 for i テーブルでは、Sync はNOT NULL カラムの一意インデックスを検出し、RRN の代わりにマージキーとして使用するようになりました。RRN が使用された場合や、NULL 許容カラムを含む一意インデックスがスキップされた場合は、警告をログに出力します。 - 差分レプリケーションで差分チェックカラムをソートされた順序で返せるデータソースを活用できるようになりました。これらのデータソースでは、Sync が自動的にカラムの最小値を取得して開始点を決定し（開始値の設定が不要に）、順番に行を読み取りながら進行状況をコミットするため、中断された実行が最後にコミットした値から再開できます。
- Git バージョン管理を改善しました。プロキシのサポートと初期化・セットアップフローの刷新が追加され、タイムスタンプのみの
.manifest変更はワークスペースのコミットに含まれなくなりました。 - パイプラインを作成を付与する際に必要な関連権限について、ロールポリシーUI が警告を表示するようになりました。
- アプリケーションデータベースのテーブル初期化が失敗した場合、Sync は起動をブロックしてメール通知を送信するようになりました。
- ユーザーの詳細から認証トークンを生成すると、API 接続権限が自動的に有効になるようになりました。
- ダッシュボード、ジョブ、接続、変換、ログ、および各詳細ページのUI コンポーネントを更新し、より統一感のある表示になりました。
- Sync ドキュメントを新しいドキュメントプラットフォームに移行しました。アプリ内ヘルプリンクは新しいサイトを参照するようになりました。
修正
- Admin API V2 において、接続更新エンドポイントがJSON オブジェクトではなくJSON 配列を返していた問題を修正しました。
- API コネクタのコードビューエディタで、新しく追加した属性が保存されずリロード後に消える問題を修正しました。
- ログイン時に最後にアクセスしたワークスペースが正しく表示されない問題を修正しました。
- ログファイルの詳細レベルドロップダウンのラベルが保存をクリックするまで更新されない問題を修正しました。
- ジョブ履歴タブの名前カラムにデータソースコネクタのアイコンが表示されない問題を修正しました。
- アクティビティページでフィルタが正しく機能しない問題を修正しました。
- Git バージョン管理のヘルプボタンが404 エラーを返す問題を修正しました。
- その他の軽微なUI の問題を修正しました。