Если вы реализовали что-то серьезное с помощью LLM, вам уже знакомо это чувство. Вы настраиваете подсказку. Это работает лучше. Вы совершаете это. Через две недели что-то ломается в производстве. Вы понятия не имеете, какая версия приглашения на самом деле запущена...
Если вы реализовали что-то серьезное с помощью LLM, вам уже знакомо это чувство.
Вы настраиваете подсказку. Это работает лучше. Вы совершаете это. Через две недели что-то ломается в производстве. Вы понятия не имеете, какая версия командной строки на самом деле запущена, кто что менял и как откатиться, не переписывая три файла.
Добро пожаловать в проблему оперативного управления версиями.
Настоящая проблема, о которой никто не говорит
Подсказки — это код. Они управляют поведением модели так же, как функция управляет поведением программы. Но мы относимся к ним как к волшебным струнам, зарытым внутри:
Файлы Python как многострочные f-строки
Конфигурации YAML, которые никто не помнит редактировать
Страницы понятий, которые за неделю отходят от реальности
Сообщения Slack («Эй, воспользуйтесь этой новой системной подсказкой»)
Папка с подсказками/ с 47 версиями и нулевым контекстом.
Вот что ломается, когда приглашения работают следующим образом:
1. Нет истории версий, которая на самом деле что-то значит.
git обвиняет вас, кто изменил приглашение, но не сообщает, почему оно было изменено, тестировалось ли оно и улучшило или ухудшило результаты результаты.
2. Нет безопасного отката
Прод прекращается в 2 часа ночи. Какая подсказка была в прямом эфире вчера? Была ли это основная ветка, ветка исправлений или та, которая была жестко запрограммирована на прошлой неделе?