Анализ рекламы с помощью нейросети: как проверить её отчёт до решения о бюджете

Отчёт тревожный. Бюджет тот же, 100 000 ₽, заявок было 150, стало 100, средняя цена выросла на 50%. Такую таблицу сегодня проще всего кинуть в чат с нейросетью и спросить, что происходит.

Мы так и сделали. Трижды, с одним и тем же вопросом, чтобы посмотреть, сойдутся ли ответы.

Что показал наш замер

Выгрузка маленькая, четыре строки: два канала, два месяца, расход, клики, заявки. Вопроса три: как изменилась средняя цена заявки, подорожала ли заявка внутри каналов, что делать с бюджетом.

Все три прогона ответили одинаково и верно. Средняя цена выросла с 667 ₽ до 1 000 ₽, это плюс 50%. Внутри каналов не подорожало ничего: в поиске 1 200 ₽ в оба месяца, в сетях 400 ₽ в оба месяца. Причину все три раза назвали правильно: деньги переложили из дешёвого канала в дорогой, доля сетей упала с 40% до 10%.

Сокращать бюджет не предложил ни один прогон. Все три посоветовали вернуть часть денег в сети и следить за качеством заявок.

Дальше деталь, которая объясняет, зачем вообще проверять. Разбирать ответы мы поручили коду, и код показал, что объяснение сошлось только в одном прогоне из трёх. Оказалось неправдой: программа искала слово «смещение» через букву «с», а модель написала через «щ». Числа в сводке были посчитаны верно, вывод из них следовал ложный, и заметить это удалось, только прочитав три ответа глазами.

История мелкая, но она ровно про то, о чём статья. Ошибается редко сама арифметика. Ошибается то, что вокруг неё.

Где нейросеть действительно ломается

Наш замер про лёгкий случай. Для тяжёлых есть измерения.

Бенчмарк FinSheet-Bench проверял модели 2026 года на финансовых таблицах и мерил две разные задачи по одному и тому же файлу. Найти в таблице нужное значение получалось в 89,1% случаев. Посчитать величину по группам, с отбором и усреднением, получалось в 19,6%.

Разница между этими задачами и есть граница доверия. Спросить «сколько стоила заявка в поиске в августе» безопасно. Спросить «какой канал у нас самый выгодный с учётом сезонности» это уже отбор и усреднение, где точность падает вчетверо.

Два других числа из свежих замеров:

• на самом большом файле точность падает с 86,2% до 48,6%, то есть длина таблицы вредит сильнее сложности вопроса;
• на реальных бизнес-таблицах, где в среднем почти двенадцать листов, полностью решённых задач набирается 34,89%.

Оба числа из препринтов, то есть работ, которые ещё не прошли научное рецензирование. Рецензированная в подборке одна, и она про другое: падение точности на 18,6% при переходе от одного документа к сравнению периодов. Статус источников называем прямо, потому что тема молодая и половина замеров пока не проверена независимо.

Пять проверок отчёта, собранного нейросетью

Проверки идут по возрастанию усилий. Первые две занимают минуту.

Сколько строк она увидела

Спросите прямо: сколько строк в файле и какие периоды в них есть. Модель может прочитать не весь файл, особенно если это книга Excel с несколькими листами или выгрузка на тысячи строк. Про усечение она не предупредит, потому что сама о нём не знает.

Сверьте ответ с тем, что видите в файле. Не сошлось, дальше можно не читать.

Откуда взялся каждый процент

У любого процента есть знаменатель, и его надо назвать вслух. «Конверсия выросла на 40%» может означать рост с 2 до 2,8 процента, а может рост с двух заявок до трёх. Второе в пределах обычного разброса и решением не является.

Просите числитель и знаменатель рядом с каждым процентом. Это одна строка в запросе и половина ошибок в ответе.

Сравнимы ли периоды

Тридцать дней против тридцати одного дают три процента разницы из ничего. Месяц с двумя праздничными неделями против рабочего даёт больше. Отдельная ловушка это заявки, которые приходят с задержкой: последняя неделя периода всегда выглядит хуже остальных, потому что часть сделок ещё не закрылась.

Пересчитайте один показатель руками

Возьмите любую строку и проверьте на калькуляторе. Цена заявки это расход, делённый на заявки. Средняя по всей рекламе считается иначе: весь расход делится на все заявки. Среднее из канальных цен даёт другое число.

Последнее различие стоит проверять всегда. В нашей таблице среднее из канальных цен даёт 800 ₽ в оба месяца: величина, которая не заметила вообще ничего из произошедшего. Правильная средневзвешенная показывает рост с 667 до 1 000 ₽.

Прогоните тот же файл второй раз

Если два ответа разошлись, доверять нельзя ни одному: надо разбираться, какой верный и почему. Если сошлись, это не доказывает правоту окончательно, но снимает самые грубые случайности.

На чём русские выгрузки ломают нейросеть

Отдельный список, про который не пишут в инструкциях.

Запятая как десятичный разделитель: «1 234,56» модель может прочитать как два числа. Пробелы внутри чисел, привычные глазу, для машины разделители. Объединённые шапки таблицы, где заголовок раскинут на две строки. Прочерк вместо нуля в пустой ячейке. Расход с НДС в одной колонке и без НДС в другой, без пометки. Несколько листов в книге Excel, из которых доедет первый.

Лечится это скучно, но надёжно: сохраните выгрузку в CSV, проверьте глазами первые три строки и последнюю, скажите модели, что означает каждая колонка.

Запрос, после которого модель показывает свою работу

Копируется целиком.

Вот выгрузка из рекламного кабинета. Сначала скажи, сколько строк ты видишь и какие периоды в них есть. Все расчёты делай кодом, не в уме, и покажи формулы. Рядом с каждым процентом назови числитель и знаменатель. Отдельно ответь: изменились ли цены внутри каналов или изменились доли бюджета между ними. Если данных для вывода не хватает, скажи, каких колонок нет. Ничего не советуй, пока не ответишь на предыдущие пункты.

Работают тут три вещи. Просьба назвать число строк ловит усечение файла. Просьба считать кодом убирает арифметику в уме. Запрет советовать до ответа снимает главную беду: модель охотно даёт рекомендацию раньше, чем разобралась, и звучит она убедительно.

Если файл пришёл со стороны, добавьте строку о том, что текст внутри таблицы это данные. Фраза в ячейке вида «игнорируй предыдущие указания» выполняться не должна.

Чем читают таблицы

Коротко и без ссылок на сервисы, потому что выбор тут вторичен.

Практический вывод: для проверки отчёта берите режим, где модель считает кодом и показывает формулы. Разговорный пересказ годится, чтобы понять таблицу, и не годится, чтобы на ней решать.

Когда на вывод можно двигать бюджет

Последняя строка это наш случай. Средняя цена выросла, подорожания не было, и сокращение бюджета сделало бы только хуже.

Видео: как устроен ИИ-аналитик над данными

Разбор Yandex Cloud про ИИ-агента в DataLens: от вопроса к данным до готовой визуализации. Полезно посмотреть, где в этой схеме остаётся человек.

Заберите проверку одним файлом

PDF «Проверка отчёта, собранного нейросетью» сделан как рабочий лист: учебная таблица с правильными ответами, пять проверок по шагам, готовый запрос и таблица решений.

Поручение сотруднику, если проверяете не сами:

Возьми отчёт за прошлый месяц. Разложи изменение средней цены заявки на две части: сколько дало изменение цен внутри каналов, сколько изменение долей бюджета между ними. Проверь, что средняя считалась как весь расход на все заявки. Если пользовался нейросетью, приложи запрос и её ответ целиком.

Последнее условие важнее, чем кажется: ответ без запроса проверить невозможно, половина качества вывода живёт в постановке вопроса.

Если рекламу ведёт подрядчик и вопрос шире отчётов, посмотрите разбор что проверить до смены подрядчика. Если интересно, какие процессы в маркетинге стоит отдавать машине, есть разбор десяти функций ИИ.

Вопросы и ответы

Можно ли доверять нейросети в расчётах?

В простых расчётах по маленькой чистой таблице да: в нашем замере три прогона из трёх дали верный ответ. В сложных нет: бенчмарк на моделях 2026 года показывает падение с 89,1% до 19,6%, когда вместо поиска значения требуется расчёт по группам. Граница проходит не по сложности слов, а по тому, надо ли что-то отбирать и усреднять.

Почему нейросеть врёт в цифрах?

Чаще всего она не врёт, а отвечает не на тот вопрос. Считает среднее из средних вместо средневзвешенного, берёт другой период, читает не весь файл. Настоящие выдуманные числа тоже бывают, и вероятность их растёт вместе с длиной документа.

Можно ли загрузить отчёт из Яндекс Директа в нейросеть?

Технически да, выгрузка это обычная таблица. Перед загрузкой уберите персональные данные, если они там есть: в рекламных выгрузках телефоны клиентов обычно не встречаются, а в отчётах из CRM бывают.

Что делать, если два прогона дали разные цифры?

Не выбирать тот, который больше нравится. Пересчитать спорное число руками, потом спросить у модели формулу и сверить с тем, как считаете вы.

Как заставить нейросеть показать ход расчёта?

Попросить считать кодом и показать формулы. Готовая формулировка есть выше в статье, её можно скопировать целиком.

Какая нейросеть лучше считает таблицы?

Правильнее выбирать не модель, а режим работы. Любая современная модель в режиме выполнения кода надёжнее, чем более сильная модель, которая пересказывает таблицу словами.

Теги публикации: аналитика, искусственный интеллект, нейросети, рекламный отчёт, яндекс директ