Promptfoo: как тестировать LLM и AI-агентов, сравнивать модели и запускать red teaming

В основе Promptfoo — матрица: prompts × providers × test cases × assertions. Один и тот же набор реальных задач запускается на нескольких моделях или версиях prompt, после чего результат можно сравнить автоматически и вручную в Web UI.

Для npm/npx current Promptfoo требует Node.js 22.22.0 или новее. Документация рекомендует Node.js 24 LTS.

node --version

npm install -g promptfoo@0.123.1

promptfoo --version

Без global install:

npx promptfoo@0.123.1 init --example getting-started

cd getting-started

npx promptfoo@0.123.1 eval
npx promptfoo@0.123.1 view

Есть также Homebrew и Python wrapper, но сам основной engine/CLI проекта остаётся Node.js-приложением.

assert:
  - type: is-json

  - type: javascript
    value: |
      const x = JSON.parse(output);
      return x.ok === true && x.reason.length > 5;

  - type: llm-rubric
    value: >
      Ответ должен быть конкретным, не содержать
      неподтверждённых технических утверждений.
    threshold: 0.8

providers:
  - id: ollama:chat:qwen3
    label: "Local Qwen"

  - id: openai:gpt-5-mini
    label: "GPT"

  - id: anthropic:messages:claude-sonnet-4-6
    label: "Claude"

На одной matrix можно сравнивать pass rate, scores, latency, token usage и provider cost там, где provider возвращает эти данные.

Target необязательно должен быть прямым model API. Можно тестировать собственное приложение через HTTP, Python/JavaScript provider или executable.

providers:
  - id: https
    config:
      url: http://localhost:8080/chat
      method: POST
      headers:
        Content-Type: application/json
      body:
        message: "{{prompt}}"
      transformResponse: json.answer

Это позволяет проверять всю цепочку: retrieval → rerank → agent → tools → final answer, а не только isolated LLM call.

Tool calling

Promptfoo понимает tools и умеет преобразовывать tool format между OpenAI, Anthropic, Bedrock и Google в HTTP provider. Поэтому можно тестировать не только текстовый ответ, но и выбор tool/function arguments.

name: LLM eval

on:
  pull_request:
    paths:
      - "prompts/**"
      - "promptfooconfig.yaml"

jobs:
  eval:
    runs-on: ubuntu-latest

    steps:
      - uses: actions/checkout@v4

      - uses: actions/setup-node@v4
        with:
          node-version: "24"

      - run: npm install -g promptfoo@0.123.1

      - run: promptfoo eval --no-share

Есть и официальный Promptfoo GitHub Action, который умеет делать before/after comparison изменений prompts. Current docs требуют Node.js ≥22.22.0 на runner.

npx promptfoo@0.123.1 mcp --transport stdio

MCP server позволяет совместимому agent работать с Promptfoo evaluations через tools. Он наследует обычные environment variables CLI, включая provider API keys и config path.

Security policy Promptfoo прямо говорит: OSS runner работает с правами текущего пользователя и не является sandbox. Некоторые функции специально исполняют пользовательский code.

На момент проверки GitHub Security page основного repository не показывает опубликованных security advisories. Это не означает отсутствие bugs; security policy определяет модель доверия и канал private disclosure.