AI 機能の強化: Google Cloud がマネージド データベースにベクトル検索を統合

InfoQ ホームページ ニュース AI 機能の強化: Google Cloud が管理されたデータベースにベクトル検索を統合

2023 年 7 月 9 日 2 分で読む

による

レナト・ロシオ

Google Cloud は最近、Cloud SQL for PostgreSQL と AlloyDB for PostgreSQL での pgvector のサポートを追加しました。 この拡張機能により、管理されたデータベースにベクトル検索操作が導入され、開発者は大規模言語モデル (LLM) によって生成されたベクトル埋め込みを保存し、類似性検索を実行できるようになります。

Cloud SQL と AlloyDB を Vertex AI 上の生成 AI サービスと組み合わせることができるようになり、アプリケーションとユーザーの状態を認識する AI 対応アプリケーションの作成に役立ちます。 Google のシニア プロダクト マネージャーである Sandhya Ghai 氏と、Google のプロダクト マネージャーである Bala Narasimhan 氏は次のように説明しています。

ベクトル埋め込みは、テキスト、オーディオ、ビデオなどの複雑なユーザー生成コンテンツを、簡単に保存、操作、インデックス付けできる形式に変換するために通常使用される数値表現です。 これらの表現は、2 つのコンテンツが意味的に類似している場合、それぞれの埋め込みが埋め込みベクトル空間内で互いに近くに位置するように、埋め込みモデルによって生成されます。 次に、ベクトル埋め込みにインデックスが付けられ、類似性に基づいてデータを効率的にフィルタリングするために使用されます。

たとえば、開発者はテキストと画像にわたって Vertex AI の事前トレーニングされたモデルを使用してエンベディングを生成し、それらをデータベースに保存してインデックス付けすることで、類似したレコードの検索を簡素化できます。

CREATE EXTENSION コマンドを使用して、pgvector 拡張機能を既存のデータベース内にインストールできるようになりました。

出典: https://cloud.google.com/blog/products/databases/using-pgvector-llms-and-langchain-with-google-cloud-databases

Ghai 氏と Narasimhan 氏が説明するように、この新機能は開発者が事前トレーニングされた LLM を活用するのにも役立ちます。

LLM について注意すべき点の 1 つは、LLM には状態の概念がないことです。 (...) 埋め込みを使用すると、ドキュメントや長期のチャット履歴などの大規模なコンテキストをデータベースに保存し、それらをフィルタリングして最も関連性の高い情報を見つけることができます。 その後、チャット履歴やドキュメントの最も関連性の高い部分をモデルにフィードして、長期記憶やビジネス固有の知識をシミュレートできます。

Google Cloud は、pgvector、オープンソース フレームワーク LangChain、LLM を使用して AI 搭載アプリを構築するための Colab ノートブックとビデオをリリースしました。 Google のシニア ソフトウェア エンジニアである Saket Saurabh 氏は、サンプル Python アプリケーションに生成 AI 機能を追加する方法を示して次のように書いています。

pgvector 拡張機能には、ベクトルに対して類似性の一致を実行するための新しい演算子も導入されており、意味的に類似したベクトルを検索できるようになります。 このような演算子は 2 つあります: '<->': 2 つのベクトル間のユークリッド距離を返します。 (...)'<=>': 2 つのベクトル間のコサイン距離を返します。

過去数か月でベクター データベースをターゲットにしたクラウド プロバイダーは Google Cloud だけではありません。Amazon RDS for PostgreSQL が pgvector 拡張機能をサポートし、Microsoft が Azure Data Explorer (ADX) をベクター データベースとして使用する方法を示し、ベクター データベースへのいくつかのコネクタについて説明しました。 。

Java を独自の方法でコーディング、デプロイ、スケールします。Microsoft Azure は、Java アプリ、アプリ サーバー、またはフレームワークのいずれで作業しているかにかかわらず、豊富な選択肢でワークロードをサポートします。 もっと詳しく知る。

InfoQ で執筆することで多くの扉が開かれ、キャリアの機会が増加しました私にとって。 専門家や思想的リーダーと深く関わり、自分が扱ったトピックについてさらに学ぶことができました。 また、学んだことをより広範なテクノロジー コミュニティに広め、テクノロジーが現実世界でどのように使用されているかを理解することもできます。

私は今年初めに InfoQ のコントリビューター プログラムを発見し、それ以来楽しんでいます。 ソフトウェア開発者のグローバル コミュニティと学習を共有するためのプラットフォームを提供してくれたことに加えて、InfoQ のピアツーピア レビュー システムのおかげで私の執筆力は大幅に向上しました。