AI Engineering #02 — «Чанк-сначала», «Чанк-нативный»: единица работы — это решение модели данных, а не исправление во время подсказки

Серия: AI Engineering · Предыдущая: #01 — Когда ИИ отбрасывает результаты собственного поиска Это вскрытие моей собственной системы, а не чьей-то еще. И вот что самое неприятное: я знал, что книги могут быть огромными — они были записаны в собственных целях проекта, черно-белыми, перед строкой кода. Я просто не рассматривал эти знания как ограничение дизайна. Я поместил его в раздел «Обработать позже», созданный для общего случая, и позволил каждому слою тихо запрограммировать «все подходит». Затем я указал на настоящий веб-роман из более чем 4000 глав, и все функции сразу сломались. Урок о том, что знание не означает проектирование, стоил мне более месяца работы по рефакторингу, и я до сих пор расплачиваюсь за него. Я записываю это, чтобы вы могли купить его по цене чтения. Краткая версия Я рассматривал фрагментирование — разделение большого ввода на более мелкие части — как то, что вы делаете при вызове LLM, прямо перед тем, как попасть в контекстное окно: получить документ, понять, что он не помещается, разрезать его на части, выполнить цикл. Проблема решена. Сомневаюсь, что я единственный, кто начал с этого, но я буду рассуждать, исходя из своей собственной системы, а не из статистики, которой у меня нет. Это не решено. Это отсрочено, и проценты растут. К ти