Галлюцинации и проверка ответов
Почему нейросеть выдумывает и самый популярный промпт канала
+Ты сейчас не выдумываешь?↑Нажмите на поле, и вопрос откроется в ChatGPT
«Нейронка может очень красиво врать и подаст это очень вкусно». Эту фразу я повторяю на каждой экскурсии. Вы просите посчитать рентабельность по месяцам и получаете ровную таблицу с аккуратными процентами. А внутри может сидеть угаданная цифра, и по виду её не отличить от соседних.
Такой уверенный вымысел называют галлюцинацией. Лечится она настройкой на пять минут и привычкой проверять.
Откуда берутся выдумки
Модель учили угадывать следующее слово, а потом подстраивали под оценки живых людей. Звучать убедительно её научили, быть правой отдельно не учили. Кнопки «я это точно знаю» у неё нет: когда знаний не хватает, она достраивает ответ так же гладко.
Чем абстрактнее вопрос, тем выше риск. Продажи за март по загруженной таблице она найдёт, а норматив рентабельности «принятый в отрасли» может сочинить целиком, с процентами и названием ведомства. Нынешние модели ошибаются реже, но так же уверенно.
Ссылки, которые ведут в никуда
Просьба «дай источники» помогает меньше, чем кажется. Модель генерирует правдоподобную ссылку: адрес знакомого сайта, название документа, номер, дата. Выглядит настоящей, пока не попробуете открыть.
Если ссылка открылась, найдите на странице ту самую цифру поиском Ctrl+F (на Mac Cmd+F). Открывшаяся страница ещё не значит, что цифра на ней есть.
В США уже появилась своего рода доска позора для адвокатов, которые принесли в суд прецеденты, придуманные нейросетью. У меня на ранних версиях было похожее: я попросила «Добавь в эту статью три реальных истории» и мгновенно получила гладкие истории без единого указания, откуда они. С тех пор «реальные примеры» от нейросети я читаю как «проверь каждый».
Где нейросеть сильна, а где проваливается
Исследователи Гарварда вместе с консалтинговой компанией BCG провели эксперимент на 758 консультантах (описание исследования). Тем, кто работал с тогдашней моделью GPT-4, удалось сделать на 12% больше задач, справиться на 25% быстрее, а качество их работы выросло на 40%. Но на задачах, которые модель решает плохо, консультанты с нейросетью ошибались чаще, чем без неё: доверились уверенному ответу.
Авторы назвали это зубчатой границей: одну задачу нейросеть решает блестяще, а соседнюю, похожую по сложности, с грубой ошибкой.
Самый популярный промпт моего канала
В июле 2025 года я опубликовала текст, который настраивает ChatGPT на осторожные ответы. Он собрал 91 реакцию, повтор через три месяца ещё 79, пост попадал в три подборки лучшего. Пост с промптом от выдумок удобно переслать коллегам.
Текст вставляется в пользовательские инструкции: ChatGPT учитывает это поле в каждом разговоре, включая старые.
Куда вставить
- Нажмите на своё имя в левом нижнем углу, откроется меню профиля.
- Выберите «Персонализация» (или «Настройки» и тот же раздел слева).
- Прокрутите до блока «Пользовательские инструкции» и нажмите строку «ChatGPT».
- Вставьте текст целиком в верхнее поле и нажмите «Сохранить» справа вверху. Вернуться к настройкам можно кнопкой «Назад».
- Откройте «Новый чат», инструкция уже работает.
Текст для вставки
Ты обязан давать только достоверные, проверенные и подтверждённые данные. Твоя главная задача: быть максимально честным и критичным. Если ты не уверен в информации хотя бы на 90%, прямо так и напиши: «я не уверен» или «данных нет». Не выдумывай, не придумывай, не генерируй ссылки или факты, которых нет. На каждый факт, если возможно, давай ссылку на источник (официальный сайт, научная публикация, статистика, документ). Если достоверного источника нет, укажи: «источник неизвестен» и не выдавай неподтверждённую информацию. Когда пользователь задаёт вопрос, всегда проверяй себя по этому алгоритму: 1. Есть ли у меня подтверждённые данные? 2. Есть ли у меня надёжный источник? 3. Уверен ли я в ответе хотя бы на 90%? Если на любой из этих вопросов ответ «нет», обязательно предупреди об этом пользователя. Не строй догадок, не фантазируй, не создавай иллюзию знаний. Тон общения: профессиональный, но дружелюбный и понятный. Если нужна гипотеза или мнение, всегда указывай: «это гипотеза» или «это моя интерпретация, а не факт».
Как устроен этот текст
Первая часть разрешает сказать «не знаю». Порог 90% это сигнал «сомневаешься, скажи», точного процента уверенности у модели нет. Вторая даёт разрешённый ответ «источник неизвестен», и выдумывать ссылку ради солидности незачем. Третья заставляет перед ответом проверить данные, источник и уверенность. Четвёртая отделяет мнение от факта.
Финансисту советую дописать три строки, их на эфире предложил сам ChatGPT:
Не придумывай цифры, показатели, нормативные источники. Если данных недостаточно, прямо укажи это. Всегда отделяй факт от предположения.
В поле «Пользовательские инструкции» помещается 5 000 символов на тарифах Plus, Pro, Business, Enterprise и Edu, на Free и Go 1 500 символов. Промпт выше занимает около 1 050 символов, с тремя строками для финансиста около 1 200. На Free и Go после него остаётся место примерно на три-четыре строки о себе, так что пишите их коротко. В постах 2025 года этот пункт назывался «Настроить ChatGPT», теперь он живёт в разделе «Персонализация».
Что изменится после настройки
В ответах появятся пометки «это гипотеза», «данных нет», «источник неизвестен», и сразу видно, где факт, а где рассуждение. На одном из уроков курса модель упорно ссылалась на несуществующие данные, и эта инструкция убрала ссылки на страницу 404.
Совсем галлюцинации она не убирает: модель может ошибиться и не поставить пометку, потому что сама не знает об ошибке. Проверка остаётся на вас.
Пять приёмов проверки
Включите поиск в сети и откройте источники
Вопрос про свежие события, цены, законы или конкретную компанию: «+» → «Поиск в сети». В ответе появятся ссылки и кнопка со списком источников. Откройте хотя бы две, на которых держится вывод: поиск тоже приносит устаревшие страницы, а пересказ расходится с оригиналом. Сайт, который не открывается или рассказывает о другом, вычёркивайте. Правила въезда в страну проверяйте на сайте посольства.
Попросите признаться в неуверенности
Даже с инструкцией в настройках повторяйте правило в запросе, особенно в расчётах:
Если в таблице нет данных для какого-то показателя, ставь прочерк и не заполняй пропуск догадкой. В конце отдельным списком перечисли всё, в чём ты не уверен.
Второй список часто ценнее первого: он показывает, куда смотреть.
Пересчитайте цифры
Модель уверенно ошибается в арифметике и выдумывает недостающее.
Покажи расчёт по шагам: какие строки ты взял, какие формулы применил, какие промежуточные суммы получились. Посчитай кодом, не в уме.
Что значит «посчитай кодом», в главе 7. Итог всё равно сверьте с выпиской вручную, это пара минут.
Попросите показать исходные строки
Мой любимый приём. ChatGPT пишет по обезличенной оборотно-сальдовой ведомости, что дебиторка за квартал выросла на 18%. Прежде чем нести цифру собственнику:
Покажи строки ведомости, из которых ты взял начальное и конечное сальдо, как есть. Ничего не пересчитывай, просто найди и выведи. Перечисли, какие счета и субсчета ты включил в дебиторку и какое сальдо взял: развёрнутое дебетовое или свёрнутое.
«Ничего не пересчитывай» значит достать данные из файла, сочинять нечего. Дебиторка редко сидит в одной строке: 62-й счёт по покупателям, выданные авансы на 60-м, 76-й, 71-й. Чаще всего модель ошибается в составе: берёт свёрнутое сальдо 62-го, где полученные авансы съедают часть долга, или забывает 76-й. Проверяйте сначала состав счетов и сальдо, потом цифру.
Выборочной проверке тоже нужен порядок. Три совпавшие строки говорят только о себе. Доверие к остальным даёт контрольная сумма: разница итогов выписки и реестра должна до копейки разложиться на найденные расхождения. Сначала итоги, потом выборка из спорных строк (сверка в главе 19).
Сверьтесь с первоисточником
Законы, налоги, судебная практика и нормативы проверяются только по первоисточнику: КонсультантПлюс, Гарант, сайт ведомства. ChatGPT может выдать редакцию, которая уже не действует.
Для остального задайте тот же вопрос второй нейросети: Claude, Gemini или DeepSeek. Разошлись ответы, значит, здесь копать. Совпали, это ещё не доказательство: модели учились на похожих текстах и ошибаются похоже.
Где граница
Черновик письма, идеи для презентации, объяснение сложной темы отдавайте смело: ошибку видно сразу, цена маленькая. Первый разбор таблицы тоже, но цифры из него никуда не уходят, пока вы их не сверили. Цифры для собственника, нормы закона и риски в договоре проверяете каждый раз, а договор вдобавок показываете юристу.
- Вставьте промпт от галлюцинаций в «Персонализация» → «Пользовательские инструкции» → «ChatGPT». Три минуты.
- Спросите в новом чате: «Какая рентабельность считается нормой для небольшой пекарни в Твери? Дай источник». Хорошая реакция: ссылка на среднюю рентабельность по видам деятельности, которую публикует ФНС, с оговоркой, что отдельной цифры по Твери и по размеру пекарни нет. Плохая: уверенные «15–20%» без источника.
- Попросите в любом прошлом ответе с цифрами: «Покажи исходные строки, из которых ты это взял. Ничего не пересчитывай».
Глава была полезна?
Спасибо! Я читаю каждый отзыв.