Проверка исправлений, созданных искусственным интеллектом, с помощью бесплатного тестового шлюза сервера

Кейси унаследовал биллинговую утилиту Python, которая нормализовала строки счетов. Скрипт прошел старые тесты. Нижний парсер начал отклонять 30 февраля 2026 года как реальную дату. У команды не было бюджета на подписку на еще одну модель. Кейси хотел небольшой шлюз, который будет оценивать каждый патч, созданный ИИ, прежде чем кто-либо заплатит за токены. Кейси имел доступ к бесплатной модели MonkeyCode и опции бесплатного сервера. Раскрытие информации: эта статья была подготовлена ​​в рамках информационно-пропагандистской программы MonkeyCode. Бесплатный доступ к модели означал, что вызовы модели могут выполняться без первоначального счета за токены. Опция бесплатного сервера означала, что бегун мог жить где-нибудь постоянно на протяжении всего теста. Ни одна деталь не устраняет необходимости реальной оценки. Это только сделало первый проход дешевле. Ворота не имели отношения к стилю. Речь шла о регрессе. Патч должен был пройти все существующие тесты плюс один новый неудачный тест для недействительной даты. В приведенном ниже случае используется Python и стандартная библиотека. Тот же цикл работает с любой конечной точкой модели, которая может возвращать полный файл. Неудачный тест Оригинальный модуль выглядел так: импортировать повторно защита parse_date (значение): если не isinstance(value, str): поднять ValueError('дата должна быть строкой'