一貫性とライフサイクル
Omnio の可視性、削除、クラッシュ復旧、複数プロセスでの注意点を説明します。
可視性の考え方
Omnio の操作ごとに、データの見え方は次のとおりです。
| 操作 | 削除済み | 再インデックス待ち |
|---|---|---|
getObject |
見えない | 見える |
headObject |
見えない | 見える |
hasObject |
見えない | 見える |
listObjects |
見えない | 見える |
searchObjects |
見えない | 見えない |
再インデックス待ちのオブジェクトは、メタデータは最新のままですが、ベクトル検索の対象からは外れます。
ライフサイクル
open() はエンティティストレージとインデックスを開きます。インデックスを開くとマイグレーションが適用され、埋め込みモデルや次元数が変わったオブジェクトに dirty フラグが立ちます。
close() は次の順序で処理します。
- ライフサイクルシグナルを中断して、実行中の操作に伝えます。
- 再インデックスの完了を待ちます。
- バックグラウンドの削除処理を待ちます。
- インデックスとエンティティストレージを閉じます。
close() にシグナルを渡さないと、待機は 30 秒でタイムアウトします。インデックスかエンティティストレージを閉じるのに失敗すると例外を投げますが、次回の close() で再試行できます。
削除
削除は 2 段階です。
- 論理削除:
deleteObjectがインデックスのレコードに削除フラグを立てます。取得、一覧、検索の結果からすぐに見えなくなります。 - 物理削除:
purgeGracePeriodMsの猶予期間が過ぎた後、バックグラウンドでオブジェクトのバイト列を削除します。
削除の予約
物理削除の予約はインデックスの pending_purge に保存します。予約には次の役割があります。
- バイト列の保存前に予約することで、保存途中のクラッシュで参照されないバイト列を回収できます。
- 削除後に同じキーが再作成された場合、古いバイト列を誤って削除しないように参照を確認できます。
- キー変更でバイト列を指すキーが変わった場合、予約のキーを更新できます。
猶予期間
猶予期間は、削除と同時に進む読み取りやストリームを守るためにあります。読み取り中のストリームが途中でバイト列を失わないようにするためです。
purgeGracePeriodMs: 0 を指定すると、論理削除の直後に物理削除を試みます。テストや一時データ以外では、既定値の 60 秒のまま使うことをおすすめします。
クラッシュからの復旧
open() は次の処理を始めます。
- 猶予期間を過ぎた削除済みレコードを走査し、物理削除を予約します。
- 残っている物理削除予約を処理します。
- 再インデックスが必要なオブジェクトを処理します。
前回の close() が正常に終わらなくても、インデックスに残った予約と削除フラグを使って回収できます。
同時実行
- 読み取り同士は並行して実行できます。
- 同じキーへの書き込みは直列化されます。
openとcloseは他の操作と同時に実行されません。- キーをまたぐ操作は、キーを並べ替えてロックし、デッドロックを防ぎます。
複数プロセス
複数のプロセスから同じインデックスとエンティティストレージに同時に書き込んでも、Omnio のロックはプロセスをまたぎません。データベース側の排他制御や、アプリケーション側の調整が別途必要です。
単一プロセスのクラッシュは、インデックスに保存した予約を使って復旧できます。複数プロセスで共有するときは、PostgreSQL などの共有データベースを使い、トランザクション分離とロックの設計を確認してください。
整合性の境界
Omnio が保証するのは、単一プロセス内の操作を直列化することと、インデックスの記録に基づいて回収することです。次のような場合は整合性が崩れる可能性があります。
- エンティティストレージのバイト列を外部から変更した場合。
- インデックスとエンティティストレージのバックアップを別々の時点で取得した場合。
- 同じキーを複数のプロセスから同時に更新した場合。
- データベースのトランザクション分離を超えて一覧を取得した場合。