Заявка

    Как я проверяю выводы ИИ

    Один вопрос — несколько моделей независимо, одна форма ответа; согласие моделей и сила источника оцениваются отдельно; что не подтвердилось — отдельным списком; решение и версия — за человеком. С промптом-проверщиком.

    Задача

    ИИ отвечает уверенно и гладко, даже когда ошибается. В исследованиях для заказчиков и в собственных продуктах мне нужен способ отделять то, на что можно опереться, от того, что просто звучит убедительно. Ниже — протокол, по которому сделаны исследования этого журнала.

    Как применять

    1. Один вопрос, одна форма ответа. Вопрос формулирую так, чтобы ответ можно было сравнить: что именно выбрать, почему, как измерить, на каких источниках это держится. Форма ответа задана заранее — каждая модель отвечает в одинаковой структуре.
    2. Несколько моделей независимо. Каждая модель получает вопрос в чистом чате, без чужих ответов и моих гипотез. Модели в записях обозначены буквами, названия — во внутреннем поле.
    3. Сведение: голосование и реестр. Сначала — что модели выбрали и насколько совпали. Потом каждое утверждение о фактах — отдельной строкой реестра.
    4. Согласие отдельно от доказательства. У каждого утверждения две оценки: сколько моделей с ним согласны и насколько силён источник — закон и официальная статистика, рандомизированное исследование, опрос с известной выборкой, пересказ в СМИ, блог. Пять моделей могут согласиться с тем, что ни на чём не держится.
    5. Ручная проверка. Ссылки, на которых держатся выводы, открываются и сверяются с утверждением: часть поиска делает ИИ-помощник, итог сверки проверяю я. Если источник не находится или говорит другое — утверждение уходит в «не подтверждено» или «опровергнуто».
    6. «Не удалось подтвердить» — отдельным списком. Пробелы в данных показывают, где вывод остаётся гипотезой.
    7. Решение и версия — за человеком. Итог фиксирую я, с пометкой «проверено человеком» и датой. Новые данные — новая версия записи, прежняя остаётся в истории.

    Для проверки одного готового результата — например, расчёта или черновика записки — использую промпт-проверщик. Его вставляю в чистый чат другой модели, затем пакет: задача, результат как есть, что проверить.

    ПРОМПТ · роль: рецензент
    Ты независимый рецензент. Ниже пакет проверки: задача, результат и перечень того, что нужно проверить.
    
    Правила:
    1. Не доверяй выводам автора. Проверь сам: пересчитай, сопоставь факты, пройди логику заново.
    2. Не додумывай недостающие данные. Если их не хватает для проверки, прямо скажи об этом.
    3. Оценивай только содержание, не стиль.
    4. Отвечай строго в формате ниже, без вступлений.
    
    ФОРМАТ ОТВЕТА
    1. Вердикт: confirmed / disputed / rejected (подтверждено / спорно / опровергнуто)
    2. Найденные ошибки и слабые места: нумерованный список, у каждого пункта указано, где именно и почему
    3. Что невозможно проверить без внешних данных
    4. Что я перепроверил сам: расчёты, факты, логика (списком)
    5. Уверенность: низкая / средняя / высокая, и одной фразой почему

    Что это дало на практике

    • «ИИ в частной школе», пять моделей. Все пять независимо вывели одни и те же три процесса — это устойчивый вывод. Но почти все «яркие» цифры — «в 4–5 раз», «до 90%», «70% учеников улучшили оценки» — при проверке источников ушли в «не подтверждено». Основа записки — утверждения с сильными источниками.
    • Анкета обследования, шесть моделей. Одна модель сослалась на закон, о котором я не знал, — он нашёлся и оказался действующим. Другая сослалась на статью закона как на требования к ИИ — такой нормы найти не удалось, ссылка в итог не попала. Без ручной проверки оба утверждения выглядели одинаково убедительно.
    • Карта навыков Mathiq, две модели и школьная программа. Где модели разошлись, решал текст рабочих программ.

    Ограничения

    • Совпадение моделей не доказывает вывод: модели учились на похожих данных и могут ошибаться одинаково.
    • Проверка источников ручная и выборочная там, где утверждений много; что проверено вручную, указано в каждой записи.
    • Метод проверяет то, что можно найти в источниках. Работает ли решение у конкретных людей, показывает только пилот.
    • Промпт-проверщик — версия 1; систематически на записях журнала его ещё не прогонял. Когда прогоню — опишу результат отдельной записью.

    Эльмар Гасанов

    Проверено человеком — 11.11.2026 · роли ИИ: черновик

    HUMAN_VERIFIED