コンテンツにスキップ
Omnio-js
Esc
↑↓移動↵開く⌘Jプレビュー
このページの内容

一貫性とライフサイクル

Omnio の可視性、削除、クラッシュ復旧、複数プロセスでの注意点を説明します。

可視性の考え方

Omnio の操作ごとに、データの見え方は次のとおりです。

操作 削除済み 再インデックス待ち
getObject 見えない 見える
headObject 見えない 見える
hasObject 見えない 見える
listObjects 見えない 見える
searchObjects 見えない 見えない

再インデックス待ちのオブジェクトは、メタデータは最新のままですが、ベクトル検索の対象からは外れます。

ライフサイクル

open() はエンティティストレージとインデックスを開きます。インデックスを開くとマイグレーションが適用され、埋め込みモデルや次元数が変わったオブジェクトに dirty フラグが立ちます。

close() は次の順序で処理します。

  1. ライフサイクルシグナルを中断して、実行中の操作に伝えます。
  2. 再インデックスの完了を待ちます。
  3. バックグラウンドの削除処理を待ちます。
  4. インデックスとエンティティストレージを閉じます。

close() にシグナルを渡さないと、待機は 30 秒でタイムアウトします。インデックスかエンティティストレージを閉じるのに失敗すると例外を投げますが、次回の close() で再試行できます。

削除

削除は 2 段階です。

  1. 論理削除: deleteObject がインデックスのレコードに削除フラグを立てます。取得、一覧、検索の結果からすぐに見えなくなります。
  2. 物理削除: purgeGracePeriodMs の猶予期間が過ぎた後、バックグラウンドでオブジェクトのバイト列を削除します。

削除の予約

物理削除の予約はインデックスの pending_purge に保存します。予約には次の役割があります。

  • バイト列の保存前に予約することで、保存途中のクラッシュで参照されないバイト列を回収できます。
  • 削除後に同じキーが再作成された場合、古いバイト列を誤って削除しないように参照を確認できます。
  • キー変更でバイト列を指すキーが変わった場合、予約のキーを更新できます。

猶予期間

猶予期間は、削除と同時に進む読み取りやストリームを守るためにあります。読み取り中のストリームが途中でバイト列を失わないようにするためです。

purgeGracePeriodMs: 0 を指定すると、論理削除の直後に物理削除を試みます。テストや一時データ以外では、既定値の 60 秒のまま使うことをおすすめします。

クラッシュからの復旧

open() は次の処理を始めます。

  • 猶予期間を過ぎた削除済みレコードを走査し、物理削除を予約します。
  • 残っている物理削除予約を処理します。
  • 再インデックスが必要なオブジェクトを処理します。

前回の close() が正常に終わらなくても、インデックスに残った予約と削除フラグを使って回収できます。

同時実行

  • 読み取り同士は並行して実行できます。
  • 同じキーへの書き込みは直列化されます。
  • open と close は他の操作と同時に実行されません。
  • キーをまたぐ操作は、キーを並べ替えてロックし、デッドロックを防ぎます。

複数プロセス

複数のプロセスから同じインデックスとエンティティストレージに同時に書き込んでも、Omnio のロックはプロセスをまたぎません。データベース側の排他制御や、アプリケーション側の調整が別途必要です。

単一プロセスのクラッシュは、インデックスに保存した予約を使って復旧できます。複数プロセスで共有するときは、PostgreSQL などの共有データベースを使い、トランザクション分離とロックの設計を確認してください。

整合性の境界

Omnio が保証するのは、単一プロセス内の操作を直列化することと、インデックスの記録に基づいて回収することです。次のような場合は整合性が崩れる可能性があります。

  • エンティティストレージのバイト列を外部から変更した場合。
  • インデックスとエンティティストレージのバックアップを別々の時点で取得した場合。
  • 同じキーを複数のプロセスから同時に更新した場合。
  • データベースのトランザクション分離を超えて一覧を取得した場合。

次に読む

このページは役に立ちましたか?