データモデリング

ベクトル検索は、データ点を高次元ベクトルとして表現することに依存しています。ベクトル表現の選択は、データの性質によって異なります。

テキストドキュメントで構成されるデータの場合、単語埋め込み (例: Word2Vec) やドキュメント埋め込み (例: Doc2Vec) などの手法を使用して、テキストをベクトルに変換できます。より複雑なモデルを使用して、OpenAI GPT-4 や Meta LLaMA 2 などの大規模言語モデル (LLM) を使用して埋め込みを生成することもできます。Word2Vec は、浅いニューラルネットワークを使用して、単語の文脈に基づいて単語の埋め込みを学習する比較的単純なモデルです。重要な概念は、Word2Vec は単語が使用される文脈に関係なく、各単語に対して単一の固定ベクトルを生成することです。LLM は、深いニューラルネットワーク、特にトランスフォーマーアーキテクチャを使用して、単語の文脈に基づいて単語の埋め込みを学習する、はるかに複雑なモデルです。Word2Vec とは異なり、これらのモデルは文脈埋め込みを生成します。つまり、同じ単語でも使用される文脈によって異なる埋め込みを持つ可能性があります。

画像は、畳み込みニューラルネットワーク (CNN) などの深層学習手法や、Contrastive Language Image Pre-training (CLIP) などの事前トレーニング済みモデルを使用して表現できます。データの重要な特徴を捉えるベクトル表現を選択してください。

ベクトル検索は、ベクトルが同じ次元を持つ場合にのみ機能します。これは、ドット積 や コサイン類似度 などのベクトル演算では、ベクトルが同じ次元数を持つ必要があるためです。

ベクトル検索では、すべての埋め込みが同じベクトル空間で作成されていることが重要です。つまり、埋め込みは、適切な比較と分析を可能にするために、同じ原則と規則に従う必要があります。同じ埋め込みライブラリを使用すると、ライブラリがデータを特定の方法で一貫してベクトルに変換するため、この互換性が保証されます。たとえば、Word2Vec 埋め込みと BERT (LLM) 埋め込みを比較すると、これらのモデルのアーキテクチャが異なり、根本的に異なる方法で埋め込みを作成するため、問題が発生する可能性があります。

したがって、ベクトルデータ型は、浮動小数点数の固定長ベクトルです。次元の値は、使用する埋め込みモデルによって定義されます。一部の機械学習ライブラリでは次元の値が示されますが、埋め込みモデルで定義する必要があります。関連するオブジェクトが埋め込み空間で互いに近くになるようにして、良好な構造を作成するデータセットの埋め込みモデルを選択することが重要です。データセットに最適な埋め込みモデルを決定するには、さまざまな埋め込みモデルを試してみる必要がある場合があります。

正規化とは、長さが 1 になるようにデータをスケーリングすることです。これは通常、ベクトル内の各要素をベクトルの長さで割ることによって行われます。

標準化とは、平均がゼロで標準偏差が 1 になるようにデータをシフト (平均を引く) およびスケーリング (標準偏差で割る) することです。

埋め込みベクトルの文脈における標準化と正規化は同じではないことに注意することが重要です。適切な前処理方法 (標準化、正規化、またはそれ以外の何か) は、データの特定の特性と、機械学習モデルで実現しようとしていることによって異なります。前処理の手順には、テキストのクリーニングとトークン化、画像のリサイズと正規化、または欠損値の処理が含まれる場合があります。

SAI のインデックス作成およびストレージメカニズムは、ベクトル検索のような大規模なデータセット向けに調整されています。現在、SAI は、近似最近傍 (ANN) 検索のアルゴリズムであり、階層型ナビゲーショナルスモールワールド (HNSW) の近縁である JVector を使用しています。

JVector のような ANN 検索アルゴリズムの目標は、データセット内で、指定されたクエリポイントに最も近い (または最も類似した) データポイントを見つけることです。ただし、正確な最近傍を見つけるには、特に高次元データを扱う場合に、計算コストが高くなる可能性があります。したがって、ANN アルゴリズムは、正確な精度よりも速度と効率を優先して、最近傍を近似的に見つけることを目的としています。

JVector は、グラフの階層を作成することでこの目標を達成します。階層の各レベルは、ナビゲート可能な スモールワールド グラフに対応しています。グラフをディスクに保存するために、ディスクバック ANN ライブラリである DiskANN に着想を得ています。グラフ内の任意のノード (データポイント) について、他のノードへのパスを簡単に見つけることができます。階層の上位レベルはノードが少なく、粗いナビゲーションに使用され、下位レベルはノードが多く、細かいナビゲーションに使用されます。このようなインデックス構造により、検索スペースを潜在的な一致に絞り込むことで、高速な検索が可能になります。

JVectorは、Panama SIMD APIも使用して、インデックスの構築とクエリを高速化します。

ベクトル検索は、関連性の高い一致を特定するために、ベクトル間の類似性または距離の計算に依存します。適切な類似度指標を選択することは非常に重要です。データ型が異なれば、より適切な指標も異なるためです。一般的な類似度指標には、コサイン類似度、ユークリッド距離、ジャカード類似度などがあります。指標の選択は、データの特性と目的の検索動作に合わせて行う必要があります。

ベクトル検索は、3つの類似度指標（コサイン類似度、ドット積、ユークリッド距離）をサポートしています。ベクトル検索インデックスのデフォルトの類似度アルゴリズムはコサイン類似度です。ほとんどのアプリケーションでは、正規化された埋め込みに対してドット積を使用することをお勧めします。ドット積はコサイン類似度よりも50％高速であるためです。

データセットが拡大するにつれて、スケーラビリティは重要な考慮事項となります。ベクトル検索アルゴリズムは、大規模なデータセットを効率的に処理できるように設計する必要があります。Vector Searchを使用するCassandraデータベースは、データを効率的に分散し、並列処理でデータにアクセスして、パフォーマンスを向上させます。

既知の真実とユーザーフィードバックに基づいて検索結果を絞り込むために、継続的にデータを評価および反復します。これは、改善の余地がある領域を特定するのにも役立ちます。ベクトル表現、類似度指標、インデックス作成技術、または前処理ステップを繰り返し調整することで、検索パフォーマンスとユーザー満足度を向上させることができます。

適切に最適化された埋め込みを備えたベクトルデータベースは、データの検索と関連付けの新しい方法を可能にし、従来のデータベースでは以前は不可能であった結果を生成します。

例

ベクトル埋め込みは、従来のデータベースの一部の機能を置き換えたり、補強したりできますが、ベクトル埋め込みは他のデータ型の代わりにはなりません。埋め込みは、制限があるため、既存のデータの補足として適用するのが最適です。