DSPy: как автоматически оптимизировать промпты и LLM-программы вместо ручного prompt engineering

import dspy

lm = dspy.LM("openai/gpt-4o-mini")
dspy.configure(lm=lm)

qa = dspy.ChainOfThought(
    "question -> answer"
)

result = qa(
    question="Почему автомат может отключаться при коротком замыкании?"
)

print(result.answer)

Здесь "question -> answer" — compact signature. DSPy сам формирует interaction с LM через adapter. Но пока это ещё не «самообучение»: мы просто описали программу.

Текущая официальная документация предлагает начинать примерно так: при очень малом наборе примеров — BootstrapFewShot; при большем наборе — random-search вариант; для более дорогой instruction optimization — MIPROv2 или GEPA.

GEPA поддерживает population of candidate programs, оценивает их на validation set и просит reflection LM предложить изменения на основе execution traces и текстового feedback от metric.

def feedback_metric(example, prediction, trace=None):
    score = 1.0 if prediction.category == example.category else 0.0

    if score:
        feedback = "Classification is correct."
    else:
        feedback = (
            f"Expected {example.category}, "
            f"but received {prediction.category}."
        )

    return dspy.Prediction(
        score=score,
        feedback=feedback,
    )


optimizer = dspy.GEPA(
    metric=feedback_metric,
    auto="light",
)

optimized = optimizer.compile(
    classifier,
    trainset=trainset,
)

В документации DSPy подчёркивается: GEPA умеет работать и с обычным числовым score, но конкретный natural-language feedback даёт reflection-модели больше информации о причинах ошибки.

import dspy

def get_voltage() -> float:
    """Return demo mains voltage."""
    return 231.4

agent = dspy.ReAct(
    "question -> answer",
    tools=[get_voltage],
)

result = agent(
    question="Какое сейчас демонстрационное напряжение?"
)

print(result.answer)

DSPy 3.3.x также улучшает MCP compatibility. В beta 3.4.0b1 новый ReActV2 получил расширенную async MCP integration, но это уже pre-release функция и для stable-инструкции её лучше не считать обязательной.

В 3.2.1 усилили безопасность cache

Release 3.2.1 отдельно отмечает изменение для dspy.Embedder, связанное с предотвращением arbitrary code execution через повреждённые или вредоносные cache files. Stable 3.3.1 уже включает более новую ветку.

Для одного разового вопроса DSPy избыточен. Но если есть repeatable task, реальные examples и измеримая metric, framework позволяет заменить ручное «покрутим system prompt» на воспроизводимый optimization loop.

Особенно интересна связка: локальная или облачная LLM как backend, DSPy — для signatures/modules и optimization, отдельный evaluation set — для контроля regression, а Langfuse или другой OTel-инструмент — для production observability.