Перейти к содержанию
ИИ для Чайников

Урок 5 из 8 · около 5 минут

Как проверить ответ ИИ

ИИ помогает быстро, но иногда уверенно ошибается. Проверка — это не недоверие, а привычка, как посмотреть в зеркало перед выходом из дома. Вот простой способ проверять ответы за пару минут.

Обновлено

Почему ИИ может дать неверный ответ?

Языковая модель не ищет правду, а подбирает правдоподобный ответ. Обычно правдоподобное и верное совпадают, но не всегда. Модель может перепутать даты, придумать цифры, ссылки или цитаты и при этом звучать уверенно. Кроме того, её знания могут устареть. Поэтому важные сведения из ответа нужно проверять по надёжным источникам.

Пример: вы спрашиваете, сколько дней даётся на возврат товара, и ИИ уверенно называет срок и номер статьи закона. Срок может оказаться верным, а статья — из другого закона или вовсе выдуманной.

Опасность в том, что ошибки выглядят так же уверенно, как правильные ответы. По тону их не отличить.

Какие вопросы задать себе, чтобы проверить ответ ИИ?

Чтобы проверить ответ ИИ, задайте себе пять вопросов. Сохранён ли смысл исходного текста? Нет ли лишних фактов, имён и цифр, которых не было в исходнике? Совпадают ли числа, даты и имена с оригиналом? Соблюдены ли объём, формат и тон, о которых вы просили? Поймёт ли результат тот человек, для которого он написан?

  • Сохранён ли смысл? Если ИИ пересказывал ваш текст — главные мысли на месте?
  • Нет ли лишнего? Нет ли фактов, имён, цифр, которых не было в исходнике?
  • Совпадают ли числа, даты и имена? Сверьте их с оригиналом, а не по памяти.
  • Соблюдены ли рамки? Объём, формат, тон — как вы просили?
  • Поймёт ли это читатель? Представьте человека, для которого текст.

Как проверить факты из ответа ИИ?

Факты из ответа ИИ проверяют по первоисточникам: официальным сайтам компаний и ведомств, документам, инструкциям к лекарствам и договорам. Попросите ИИ указать, откуда сведения, и откройте источник сами: ссылки он тоже может выдумать. Сравните данные из двух независимых мест. Если подтвердить факт не удалось, не используйте его.

  • Попросите источник, а потом откройте его сами. ИИ может придумать ссылку — поэтому важно открыть и убедиться, что там написано именно это.
  • Важные сведения сверяйте с официальными сайтами: государственными порталами, сайтом банка, производителя, поликлиники.
  • Спросите сам ИИ: «В чём в этом ответе ты можешь ошибаться? Что стоит проверить?» Это не заменяет проверку, но подсказывает слабые места.
  • Числа пересчитайте на калькуляторе или в таблице, если от них что-то зависит.

Совет Чайника. Если два разных чат-бота ответили одинаково, это ещё не доказательство: они могли «научиться» одной и той же ошибке.

Когда проверка ответа ИИ особенно важна?

Проверка особенно важна, когда речь о здоровье, лекарствах, деньгах, юридических вопросах и документах для работы или учёбы. Здесь ошибка дорого стоит. ИИ можно использовать, чтобы разобраться в теме и подготовить вопросы, но решения принимайте после консультации со специалистом: врачом, юристом или сотрудником банка через официальный канал.

Разумный путь — использовать ИИ для подготовки, а не для решения. В примере ниже чат-бот помогает собрать вопросы к врачу и разобраться в терминах, но диагноз не ставит.

Хороший способ использовать ИИ перед визитом к врачу

«Я иду к терапевту с жалобой на частую изжогу. Помоги составить список вопросов к врачу и объясни простыми словами термины, которые он может использовать. Не ставь диагноз».

Что делать, если ИИ ошибся?

Если ИИ ошибся, скажите об этом прямо и конкретно: например, «в тексте указано 14 ноября, а у тебя 15; исправь и проверь остальные даты». Чем точнее вы опишете ошибку, тем лучше исправление. После правки проверьте ответ ещё раз: исправляя одно, модель иногда меняет то, что было верным.

Если ошибок много, проще начать заново в новом чате с более подробным запросом. Это нормально: так работают и опытные пользователи.

Что запомнить

  • ИИ ошибается уверенно — по тону ошибку не отличить.
  • Пять вопросов: смысл, лишнее, числа и даты, рамки, понятность.
  • Источник мало попросить — его нужно открыть. Здоровье, деньги и документы — с проверкой у специалиста.

Попробуйте сами · 2–3 минуты

Маленькое задание

Попросите ИИ рассказать о чём-то, что вы хорошо знаете сами (ваш город, профессия, хобби), и найдите в ответе неточности. Потом спросите, в чём он может ошибаться.

Расскажи в 5 пунктах самое интересное о [ваш город или хобби]. После ответа отдельно перечисли, какие из этих фактов стоит перепроверить и где.

Хотите разобрать свой запрос по частям? Откройте тренажёр запросов.

Мини-проверка

Проверьте себя: 3 вопроса

Это не экзамен: можно ошибаться и пробовать снова. Ответы никуда не отправляются.

  1. 1. ИИ дал ссылку на статью. Значит ли это, что всё верно?

  2. 2. С чем сверять даты в пересказе?

  3. 3. Как правильно использовать ИИ в вопросах здоровья?

Показать правильные ответы и пояснения

  1. 1. ИИ дал ссылку на статью. Значит ли это, что всё верно?

    Ответ: Нет: ссылку нужно открыть и убедиться, что там написано то же самое. ИИ может придумать ссылку или приписать статье то, чего в ней нет.

  2. 2. С чем сверять даты в пересказе?

    Ответ: С исходным текстом. Сверять нужно с оригиналом: память подводит, а другой чат-бот тоже может ошибиться.

  3. 3. Как правильно использовать ИИ в вопросах здоровья?

    Ответ: Разобраться в терминах и подготовить вопросы к врачу. ИИ помогает подготовиться к разговору со специалистом, но не заменяет его.

Верных ответов: 0 из 3.

Источники

Откуда мы брали факты для урока. Страницы на английском помечены «EN».