promptfooについて
promptfooは、LLMアプリのセキュリティと信頼性を確保するための強力なツールです。このツールは、オープンソースで提供されており、多くの開発者に利用されています。
コア機能
- セキュリティとレッドチーミング：自動化されたレッドチーミング機能により、セキュリティ、法的、ブランドリスクなどを検出するカスタムスキャンを実行できます。PII漏洩、インスケアツールの使用、クロスセッションデータ漏洩、直接および間接的なプロンプトインジェクション、ジェイルブレイク、有害なコンテンツ、専門的な医療および法的アドバイスなどの一般的な失敗を特定します。
- 総合的なセキュリティカバレッジ：アプリケーションに合わせたカスタムプローブを提供し、ジェネリックなジェイルブレイクやプロンプトインジェクションだけでなく、実際に気になる失敗を特定します。
基本的な使用方法
- コマンドラインインターフェース、ライブリロード、キャッシングを備えており、迅速に作業を進めることができます。SDK、クラウド依存、ログインは不要です。
- テストケースは、システムのユースケース（例えば、「バジェット旅行代理店」）に特化して生成されます。
- YAMLでテストを設定し、ローカルですべてを確認できます。
