На прошлой неделе я прогнал одну подсказку через четыре модели. Опус 5.5 и Сонет 5.5 в Клоде Коде, GPT-6 Astra и GPT-6.1 Sol в Кодексе. Задача: отдельный HTML-файл, в котором процедурный осьминог сбегает из стеклянной банки, открутив крышку изнутри....
На прошлой неделе я прогнал одну подсказку через четыре модели. Опус 5.5 и Сонет 5.5 в Клоде Коде, GPT-6 Astra и GPT-6.1 Sol в Кодексе. Задача: отдельный HTML-файл, в котором процедурный осьминог сбегает из стеклянной банки, открутив крышку изнутри.
Астру сделали за 14 минут. Sonnet набрал 72 балла. Opus выявил наибольшее количество ошибок из четырех и все равно завершился, ничего не открыто, в то время как в сеансе Sonnet не было зарегистрировано ни одной ошибки, а в его окончательной сборке были предупреждения консоли.
Это один запуск для каждой модели, поэтому не считайте это тестом. Я просмотрела четыре сеанса подряд и из-за них изменила свое приглашение. Вот и все.
Задача
Подсказка была длинной. Вот строка, которая усложнила задачу:
Осьминог должен действительно открутить крышку. Это не стандартная анимация: вращение крышки должно происходить за счет контакта с ней щупалец.
Любая модель может сделать волну осьминога возле крышки. Здесь крышка поворачивается только в том случае, если ее захватывают щупальца, поэтому им приходится хватать, крутить, отпускать, снова хватать, а крышка при повороте должна подниматься по резьбе. Если эта логика неверна, скриншот обычно выглядит нормально.
Все остальное было декорацией. Темная комната, деревянный стол, вода в банке, восемь щупалец с присосками, никаких внешних моделей или
