AI前処理 指定した形式のファイルをエンベディングして、結果をベクトルDBに格納
- 名称
- エンベディング、ベクトルDB格納
- タグ
- AI前処理／OpenAI／生成AI
- 使用コネクター
- RESTコネクター
- API
- APIバージョン：v1
本アプリケーションは、指定した形式のファイル（※1）をLLMであるOpenAIに読み込ませエンベディングをおこない数値ベクトルに変換します。変換結果は、ベクトルDBに格納されます。
本アプリケーションを利用することで生成AIの要となるデータ準備を効率的におこない、コスト削減や対応品質向上に寄与します。
- ※1
対応可能なファイル形式の詳細は以下OpenAI社のwebページを参照
⇒ https://platform.openai.com/docs/assistants/tools/file-search#supported-files
スクリプト詳細
指定した形式のファイルをエンベディングして、結果をベクトルDBに格納
Embedding_and_Store_OpenAI_main
指定した形式のファイルをLLM（OpenAI）にアップロード
Embedding_and_Store_OpenAI_upload_files
ベクトルDBを新規作成、もしくは既存DBのIDを使用
Embedding_and_Store_OpenAI_prepare_store
エンベディングし、結果をベクトルDBに格納
Embedding_and_Store_OpenAI_trans_to_store
エンベディング・ベクトルDB格納の処理結果をチェック
Embedding_and_Store_OpenAI_check_status
エンベディング・ベクトルDB格納の処理結果を集計しCSVファイルに出力
Embedding_and_Store_OpenAI_generate_summary
インストール方法と使い方はこちら