Хватит заново оспаривать запуск каждой модели: персональная испытательная установка, которую можно запускать вечно

Каждые пару недель моя лента загорается новой моделью кодирования и тот же разговор возобновляется с нуля. Кто-то публикует скриншот, кто-то — контрскриншот, и тред заканчивается без единого свидетельства о единственном, что имеет значение: как модель ведет себя на работе, находящейся в нашей очереди прямо сейчас. Эта часть — мой ответ на этот цикл. Вместо абстрактных споров о моделях я держу небольшую постоянную оценочную установку, которая рассматривает каждый новый выпуск как еще одного участника. Компьютеру все равно, что будет в тренде на этой неделе — замените один адаптер, перезапустите пакет и получите новый вердикт. Далее следует обоснование дизайна, рабочий скелет, который вы можете адаптировать, и честный список способов, которыми он может ввести вас в заблуждение. Почему из-за специального тестирования команды терпят неудачу Типичная оценка выглядит так: открыть новый инструмент, вставить что-нибудь по памяти, кивнуть или пожать плечами, сформировать мнение. Здесь есть три структурные проблемы. Во-первых, тестовое задание выбирается после ажиотажа, который незаметно смещается в сторону задач, в которых, по слухам, новая модель сильна. Во-вторых, нет никакого контрольного прогона — не с чем сравнивать результаты, кроме вибрации. В-третьих, ничего не происходит.