Контроль качества, проверка выводов и управление рисками при работе с ИИ

Аудитория курса: руководители, аналитики, ИТ-менеджеры, владельцы решений

Результат обучения: участники умеют выявлять выдуманные факты, логические ошибки и искажения в материалах, полученных с помощью ИИ; выстраивают повторяемый контроль качества и снижают риск неверных управленческих решений

Фокус: проверка фактов и источников, аудит логики и выводов, проверка чисел и таблиц, перекрёстная проверка, уровни доверия к результатам, протокол проверки, карта рисков и правила использования

День 1. Типовые ошибки и базовые протоколы проверки

Тема 1. Откуда берутся ошибки ИИ и как их предотвращать на входе

• Классы ошибок: выдуманные факты, «уверенная неправда», подмена понятий, пропуск условий, неверные обобщения, ошибки в цифрах, искажение источников
• Где цена ошибки максимальна: отчёты, аналитические записки, регламенты, требования, управленческие решения
• Что именно провоцирует ошибки: размытая цель, смешение задач, отсутствие ограничений, отсутствие критериев качества
• Минимальная «гигиена задания»: цель, контекст, ограничения, формат, критерии качества, запреты
• Практикум 1: переписываем 5 «опасных» задач в проверяемые задачи (с критериями и запретами)

Артефакт 1: шаблон постановки задачи для ИИ (1 страница)

Тема 2. Разделение фактов и интерпретаций: чтобы отчёт не выглядел убедительным мусором

• Как отделять факт, расчёт, интерпретацию, рекомендацию
• Как заставить результат быть проверяемым: список утверждений, которые можно проверить; список допущений; что неизвестно
• «Красные флаги» в текстах ИИ: категоричность без доказательств, отсутствие допущений, «идеальная стройность»
• Практикум 2: разбор короткого отчёта по слоям (факт / расчёт / интерпретация / рекомендация)

Артефакт 2: чек-лист «разбор отчёта по слоям» (быстрая версия на 10 пунктов)

Тема 3. Быстрый факт-чек и работа с источниками

• Что считать источником в корпоративной среде: внутренние документы, отчёты, базы, официальные данные, протоколы встреч
• Протокол факт-чека в условиях дефицита времени: минимальный набор проверок, контрольные вопросы, контрольные точки
• Как избегать подмены источников и «красивых ссылок» без содержания
• Практикум 3: кейс «Отчёт с выдуманными фактами» — находка ошибок и перепаковка в проверяемый формат

Артефакт 3: чек-лист факт-чека и источников (полная версия на 25–30 пунктов)

Диагностика по итогам дня

• Мини-тест: найти 10 проблем в выдаче ИИ (факты, логика, цифры, допущения)
• Разбор результатов и фиксация типовых ошибок группы

День 2. Аудит логики, проверка чисел и уровни доверия

Тема 4. Проверка логики и выводов: как ловить ошибки рассуждений

• Частые логические сбои: причинность вместо корреляции, ложные обобщения, игнор альтернатив, «подгонка вывода», смешение целей
• Тесты логики: «достаточно ли данных», «какие альтернативы», «что противоречит», «крайние случаи», «что будет если условие неверно»
• Практикум 4: кейс «Аналитическая записка с логической ошибкой» — аудит логики и исправление выводов

Артефакт 4: протокол аудита логики (пошаговый)

Тема 5. Проверка цифр и таблиц: где чаще всего «тихо ломается»

• Типовые ошибки чисел: единицы измерения, база сравнения, пропуски, округления, неверные формулы, неверные итоги
• Границы допустимого: что можно доверять ИИ, а что только после двойной проверки
• Контроль вычислений: контрольные примеры, ручной пересчёт ключевых показателей, проверка чувствительности, проверка промежуточных шагов
• Практикум 5: кейс «Таблица показателей с ошибкой формулы/единиц» — поиск и исправление, затем корректные выводы

Артефакт 5: чек-лист проверки чисел и таблиц

Тема 6. Уровни доверия и приёмка результата: когда можно использовать, а когда нельзя

• Три уровня доверия к результатам:

1. Черновик (нельзя в решение, только для ориентира)
2. Рабочий (можно внутри команды при фиксированных допущениях)
3. Принято (можно класть в решение, прошло проверки и зафиксировано)

• Минимальные требования к каждому уровню: какие проверки обязательны
• Как оформлять «итог» так, чтобы руководителю было понятно, чему можно доверять
• Практикум 6: делаем приёмку результата из кейса и присваиваем уровень доверия с обоснованием

Артефакт 6: матрица уровней доверия + критерии приёмки

День 3. Перекрёстная проверка, риски, регламентация и внедрение в компанию

Тема 7. Перекрёстная проверка: повышаем надежность без бесконечных итераций

• Как строить перекрёстную проверку: другой угол, другой набор вопросов, поиск слабых мест, альтернативные объяснения
• Несогласие результатов: что перепроверять в первую очередь (источники, допущения, расчёты, формулировку задачи)
• Практикум 7: кейс «Решение с риском неверного вывода» — два независимых прохода проверки и сбор расхождений

Артефакт 7: библиотека проверочных запросов (под факты, логику, цифры, альтернативы, допущения)

Тема 8. Риски, ответственность и правила использования ИИ в подразделении

• Риски: неверное управленческое решение, утечка данных, репутационные последствия, юридические риски, деградация экспертизы
• Ролевая модель: кто ставит задачу, кто проверяет, кто принимает, кто владелец риска
• Допустимые и запрещённые сценарии: как формулировать правила и делать их применимыми
• Практикум 8: строим карту рисков и правила использования ИИ для своей команды/подразделения

Артефакт 8: карта рисков + правила допустимого использования (черновик политики подразделения)

Тема 9. Протокол проверки: делаем качество повторяемым и управляемым

• Протокол проверки результата: шаги, критерии, что фиксируем, какие доказательства приложить
• Журнал проверок: версия задачи, допущения, найденные ошибки, что исправили, уровень доверия, кто принял
• Шаблон краткого отчёта руководителю: что сделал ИИ, что проверили, чему доверяем, где ограничения
• Мастерская: собираем единый «пакет качества» из всех артефактов

Артефакт 9: финальный протокол проверки + журнал + шаблон отчёта руководителю

Итоговая аттестация:

• Участник выбирает рабочий сценарий (отчёт, аналитика, таблица, документ, управленческое решение)
• Проходит полный цикл: постановка задачи → результат ИИ → факт-чек → аудит логики → проверка чисел (если есть) → перекрёстная проверка → присвоение уровня доверия → оформление протокола
• Защита: демонстрация найденных ошибок и доказательств проверки, финальная версия результата, правила применения

Артефакты на выходе:

• Шаблон постановки задачи для ИИ с критериями качества
• Чек-лист разборки отчёта по слоям
• Чек-лист факт-чека и источников
• Протокол аудита логики
• Чек-лист проверки чисел и таблиц
• Матрица уровней доверия и критерии приёмки
• Библиотека проверочных запросов
• Карта рисков и правила использования ИИ в подразделении
• Финальный протокол проверки + журнал проверок + шаблон отчёта руководителю