Как я проверяю выводы ИИ
Один вопрос — несколько моделей независимо, одна форма ответа; согласие моделей и сила источника оцениваются отдельно; что не подтвердилось — отдельным списком; решение и версия — за человеком. С промптом-проверщиком.
Задача
ИИ отвечает уверенно и гладко, даже когда ошибается. В исследованиях для заказчиков и в собственных продуктах мне нужен способ отделять то, на что можно опереться, от того, что просто звучит убедительно. Ниже — протокол, по которому сделаны исследования этого журнала.
Как применять
- Один вопрос, одна форма ответа. Вопрос формулирую так, чтобы ответ можно было сравнить: что именно выбрать, почему, как измерить, на каких источниках это держится. Форма ответа задана заранее — каждая модель отвечает в одинаковой структуре.
- Несколько моделей независимо. Каждая модель получает вопрос в чистом чате, без чужих ответов и моих гипотез. Модели в записях обозначены буквами, названия — во внутреннем поле.
- Сведение: голосование и реестр. Сначала — что модели выбрали и насколько совпали. Потом каждое утверждение о фактах — отдельной строкой реестра.
- Согласие отдельно от доказательства. У каждого утверждения две оценки: сколько моделей с ним согласны и насколько силён источник — закон и официальная статистика, рандомизированное исследование, опрос с известной выборкой, пересказ в СМИ, блог. Пять моделей могут согласиться с тем, что ни на чём не держится.
- Ручная проверка. Ссылки, на которых держатся выводы, открываются и сверяются с утверждением: часть поиска делает ИИ-помощник, итог сверки проверяю я. Если источник не находится или говорит другое — утверждение уходит в «не подтверждено» или «опровергнуто».
- «Не удалось подтвердить» — отдельным списком. Пробелы в данных показывают, где вывод остаётся гипотезой.
- Решение и версия — за человеком. Итог фиксирую я, с пометкой «проверено человеком» и датой. Новые данные — новая версия записи, прежняя остаётся в истории.
Для проверки одного готового результата — например, расчёта или черновика записки — использую промпт-проверщик. Его вставляю в чистый чат другой модели, затем пакет: задача, результат как есть, что проверить.
Ты независимый рецензент. Ниже пакет проверки: задача, результат и перечень того, что нужно проверить. Правила: 1. Не доверяй выводам автора. Проверь сам: пересчитай, сопоставь факты, пройди логику заново. 2. Не додумывай недостающие данные. Если их не хватает для проверки, прямо скажи об этом. 3. Оценивай только содержание, не стиль. 4. Отвечай строго в формате ниже, без вступлений. ФОРМАТ ОТВЕТА 1. Вердикт: confirmed / disputed / rejected (подтверждено / спорно / опровергнуто) 2. Найденные ошибки и слабые места: нумерованный список, у каждого пункта указано, где именно и почему 3. Что невозможно проверить без внешних данных 4. Что я перепроверил сам: расчёты, факты, логика (списком) 5. Уверенность: низкая / средняя / высокая, и одной фразой почему
Что это дало на практике
- «ИИ в частной школе», пять моделей. Все пять независимо вывели одни и те же три процесса — это устойчивый вывод. Но почти все «яркие» цифры — «в 4–5 раз», «до 90%», «70% учеников улучшили оценки» — при проверке источников ушли в «не подтверждено». Основа записки — утверждения с сильными источниками.
- Анкета обследования, шесть моделей. Одна модель сослалась на закон, о котором я не знал, — он нашёлся и оказался действующим. Другая сослалась на статью закона как на требования к ИИ — такой нормы найти не удалось, ссылка в итог не попала. Без ручной проверки оба утверждения выглядели одинаково убедительно.
- Карта навыков Mathiq, две модели и школьная программа. Где модели разошлись, решал текст рабочих программ.
Ограничения
- Совпадение моделей не доказывает вывод: модели учились на похожих данных и могут ошибаться одинаково.
- Проверка источников ручная и выборочная там, где утверждений много; что проверено вручную, указано в каждой записи.
- Метод проверяет то, что можно найти в источниках. Работает ли решение у конкретных людей, показывает только пилот.
- Промпт-проверщик — версия 1; систематически на записях журнала его ещё не прогонял. Когда прогоню — опишу результат отдельной записью.