埋め込み器
Gemma2Embedder のオプションと、IEmbedder インターフェースのリファレンスです。
Gemma2Embedder
EmbeddingGemma 2 による埋め込み器です。テキストと画像に対応し、両方を同じ埋め込み空間に変換します。
import { Gemma2Embedder } from "@omniojs/emb-gemma2";
const embedder = new Gemma2Embedder();
オプション
type Gemma2EmbedderOptions = {
model?: string;
dtype?: DataType;
subfolder?: string;
dims?: number;
device?: DeviceType;
};
| オプション | 既定値 | 説明 |
|---|---|---|
model |
"onnx-community/embeddinggemma-2-ONNX" |
Hugging Face のモデル ID です。 |
dtype |
"q4" |
量子化形式です。 |
subfolder |
"onnx" |
モデルファイルのサブフォルダーです。 |
dims |
768 |
出力ベクトルの次元数です。 |
device |
モデルライブラリーの既定値 | 推論デバイスです。 |
dims がモデルの出力より小さいときは、先頭から切り詰めて L2 正規化します。大きいときは EmbedFailedError が投げられます。
dtype は "auto"、"fp32"、"fp16"、"q8"、"int8"、"uint8"、"q4"、"bnb4"、"q4f16"、"q2"、"q2f16"、"q1"、"q1f16" のいずれかです。
device は "auto"、"gpu"、"cpu"、"wasm"、"webgpu"、"cuda"、"dml"、"coreml"、"webnn"、"webnn-npu"、"webnn-gpu"、"webnn-cpu" のいずれかです。
const embedder = new Gemma2Embedder({
dims: 256,
dtype: "q8",
device: "cpu",
});
能力情報
embedder.info;
// {
// dims: 768,
// name: "onnx-community/embeddinggemma-2-ONNX",
// modalities: ["text", "image"],
// normalized: true,
// multilingual: true,
// }
name はインデックスに保存されるモデル名です。dims とともに、再インデックスの判定に使われます。
動作
- 初回の埋め込み時にモデルを読み込みます。読み込みに失敗すると
ModelLoadErrorが投げられます。 - テキストは平均プーリングして正規化します。
- 画像は
RawImageに復号してから埋め込みます。 - 推論はインスタンスごとに直列化され、同時には実行されません。
embedText、embed、embedManyはAbortSignalを受け取ります。
IEmbedder
独自の埋め込み器を実装する場合のインターフェースです。
interface IEmbedder {
readonly info: EmbedderInfo;
embed(c: IEmbedder.EmbedContext): MaybePromise<Float32Array>;
embedMany(c: IEmbedder.EmbedManyContext): MaybePromise<Float32Array[]>;
embedText(c: IEmbedder.EmbedTextContext): MaybePromise<Float32Array>;
supports(c: IEmbedder.SupportsContext): boolean;
}
EmbedderInfo
type EmbedderInfo = {
dims: number;
maxTokens?: number;
modalities: readonly EmbedModality[];
multilingual: boolean;
name: string;
normalized: boolean;
};
| フィールド | 説明 |
|---|---|
dims |
出力ベクトルの次元数です。 |
maxTokens |
入力の最大トークン数です。制限がない場合もあります。 |
modalities |
対応するモダリティーです。"text" は必須です。 |
multilingual |
多言語に対応しているかどうかです。 |
name |
モデル名です。インデックスに保存されます。 |
normalized |
出力が L2 正規化済みかどうかです。 |
メソッド
| メソッド | 説明 |
|---|---|
embed |
1 つの入力を埋め込みます。 |
embedMany |
複数の入力をまとめて埋め込みます。 |
embedText |
テキストを埋め込みます。 |
supports |
モダリティーに対応しているかを返します。 |
Omnio は説明文の埋め込みに embedText を使います。画像クエリーには embed を使います。
実装例
import type { IEmbedder } from "@omniojs/core";
class MyEmbedder implements IEmbedder {
readonly info = {
dims: 384,
name: "my-model-v1",
modalities: ["text"],
normalized: true,
multilingual: false,
};
async embed(c: IEmbedder.EmbedContext): Promise<Float32Array> {
return this.#embedInput(c.input, c.signal);
}
async embedMany(c: IEmbedder.EmbedManyContext): Promise<Float32Array[]> {
return Promise.all(c.inputs.map((input) => this.#embedInput(input, c.signal)));
}
async embedText(c: IEmbedder.EmbedTextContext): Promise<Float32Array> {
return this.#embedInput({ kind: "text", text: c.text }, c.signal);
}
supports(c: IEmbedder.SupportsContext): boolean {
return c.modality === "text";
}
async #embedInput(
input: IEmbedder.EmbedContext["input"],
signal: AbortSignal,
): Promise<Float32Array> {
signal.throwIfAborted();
// 実際の埋め込み処理を書きます。
return new Float32Array(this.info.dims);
}
}
モデルの変更
info.name か info.dims が保存済みの値と異なると、open() が対象のオブジェクトに dirty フラグを立て、バックグラウンドで再インデックスします。
再インデックスの対象は、説明文があって埋め込みモデルが記録されているオブジェクトのうち、削除されていないものだけです。embed: false で保存したオブジェクトや、embedding を手動で渡したオブジェクトは対象になりません。