Математика сложна даже для Facebook. И доверять математике Facebook становится все труднее, даже несмотря на то, что социальная сеть настраивает свои расчеты.
В третий раз с сентября Facebook сообщает о новых ошибках в измерениях. Две новые ошибки повлияли на подсчет реакций в отчетах Facebook на прямые трансляции страниц, а также на показатели вовлеченности в отчетах Facebook по ссылкам за пределами Facebook; последние показатели вовлеченности ссылок недавно использовались BuzzFeed и The New York Times в расследованиях эффективности статей о фейковых новостях на Facebook.
Помимо признания двух новых ошибок, одна из которых исправлена, а другая все еще проверяется, Facebook уточнил систему измерения, на которую маркетологи могут опираться при покупке рекламы через социальную сеть.
Ни один из вышеупомянутых показателей не повлиял на то, сколько денег Facebook взимает с рекламодателей за свои кампании. Но они, возможно, повлияли на стратегии покупки рекламы брендов в Facebook, а также на стратегии брендов, издателей и других лиц по публикации контента, связанного с Facebook.
Facebook следует отдать должное за то, что он открыто говорил о своих ошибках и исправлял их. Но чем больше ошибок в измерениях и исправлений обнаруживается, тем труднее становится доверять измерениям Facebook. Это дилемма, с которой столкнулись некоторые бренды и агентства после двух предыдущих сообщений об ошибках в измерениях. И эта ситуация, возможно, не утихнет до тех пор, пока Facebook не позволит независимым фирмам напрямую измерять эту ранее ошибочную статистику, вместо того, чтобы полагаться на Facebook для получения необработанных и исправленных данных.
Хорошо, теперь подробнее о том, что на этот раз случилось с математикой Facebook.
Непоследовательная статистика взаимодействия по ссылкам за пределами Facebook
Facebook Graph API и отчеты о мобильных приложениях не соответствуют показателям вовлеченности внешних ссылок.
Facebook подтвердил, что существует несоответствие между двумя показателями уровня вовлеченности Facebook для внешних ссылок, но компания не смогла определить причину аномалии измерений.
Я обратил внимание Facebook на эту ошибку несколько недель назад после того, как наткнулся на нее, анализируя недавнее расследование BuzzFeed о работе ссылок на фейковые новости на Facebook. (Внизу этого поста я расскажу, как я обнаружил ошибку и как получить доступ к этой статистике для любого URL-адреса любому, у кого есть учетная запись Facebook).
Двумя метриками, о которых идет речь, являются: 1) общее количество репостов, лайков и комментариев, полученных ссылкой на Facebook и за ее пределами, сообщаемое через Facebook Graph API; и 2) количество людей, которые поделились этой ссылкой или прокомментировали ее, согласно результатам поиска в мобильных приложениях Facebook.
Проблема с этими показателями: для некоторых ссылок, в том числе проверенных BuzzFeed, Facebook сообщил, что количество людей, которые поделились ссылкой или прокомментировали ее, превысило сумму репостов, лайков и комментариев для этой ссылки. Этого не должно произойти, поскольку статистика репостов и комментариев, отображаемая в результатах мобильного поиска, является подмножеством статистики репостов, лайков и комментариев, сообщаемой API Graph, подтвердил представитель Facebook. Неясно, означает ли противоречивая статистика, что Facebook Graph API завышает показатели вовлеченности или что результаты мобильного поиска занижают их.
Как только Facebook определит, почему существует несоответствие в измерениях, компания уведомит людей о том, что причина выявлена и ошибка исправлена.
Неправильно распределенные реакции на видео в прямом эфире
Facebook неправильно указал источник реакции на прямые трансляции страниц.
Facebook неправильно сообщал о том, сколько раз люди «отреагировали» на живое видео, нажимая кнопку «Мне нравится» или один из соответствующих смайлов «реакции» во время просмотра прямой трансляции. Чтобы внести ясность, общее количество реакций, которое отображается публично под публикацией видео в прямом эфире, было точным, но разбивка по местам возникновения этих реакций, которая отображается только на Страницах, не была точной.
С помощью аналитических инструментов Facebook Page Insights Страницы могут видеть количество реакций, сгенерированных на живое видео, с разбивкой по тому, произошли ли реакции, когда люди смотрели прямую трансляцию («реакции на публикацию»), или они были получены на сообщениях других людей, которые включали видео в прямом эфире - «реакция на репосты» - например, когда кто-то поделился или ретвитнул в Facebook публикацию видео в прямом эфире Страницы своим друзьям, и эти друзья нажали кнопку «Мне нравится» или «реакция» на публикации друга. после того, как прямая трансляция уже закончилась.
Количество «реакций на публикацию» должно было измерять только одну реакцию на отдельного зрителя в прямом эфире, и так оно и было. Но люди могут реагировать на живое видео несколько раз, например, нажимая «ха-ха» каждый раз, когда трансляция заставляет их смеяться. Facebook неправильно включил эти дополнительные реакции в показатель «реакции на публикации», хотя это не были реакции на общие публикации.
Помимо исправления неправильного распределения реакций, метрика Facebook «реакции на публикацию» больше не будет учитывать только одну реакцию на каждого зрителя. Вместо этого он также будет учитывать те дополнительные реакции, которые были ошибочно учтены как «реакции на акции». По словам представителя Facebook, Facebook больше не будет предлагать измерение количества зрителей, которые хотя бы один раз отреагировали на прямую трансляцию. В результате любые страницы, которые отслеживали показатель «реакции на публикации» для своих прошлых прямых трансляций, могли бы также отказаться от исторических данных этого показателя. Сравнение больше не будет яблоками с яблоками, а яблоками с арбузами.
Пересмотренная разбивка реакций Live будет применяться к новым видео Live, начиная с середины декабря. По данным Facebook, ожидается, что они приведут к среднему увеличению количества «реакций на публикации» на 500 процентов и среднему снижению количества «реакций на публикации» на 25 процентов.
Оценочный охват рекламы становится менее приблизительным
Facebook уточняет оценку потенциального охвата рекламы.
Facebook оттачивает оценку количества людей, которых охватит кампания рекламодателя.
Прежде чем я объясню, как меняются эти показатели, позвольте мне прояснить, что это за метрики, а что нет. Предполагаемый общий охват и предполагаемый дневной охват представляют собой гипотезы о том, сколько людей может быть охвачено кампанией рекламодателя. Это не то, сколько людей на самом деле было вовлечено в кампанию. Эти оценки, представленные, когда бренд находится в процессе создания кампании с использованием инструмента создания рекламы Facebook и до того, как будет заказана покупка рекламы, должны помочь рекламодателю оценить, насколько определена его целевая аудитория и как этот таргетинг влияет на количество людей, которые могут увидеть его рекламу.
Эти оценки так и останутся приблизительными, но Facebook делает их менее приблизительными.
Раньше Facebook брал целевую аудиторию, определенную рекламодателем, и рассматривал поведение меньшей выборки людей из этой аудитории - например, насколько вероятно, что они проверят Facebook, Instagram или сайт или приложение в рекламной сети Facebook Audience Network. в определенный день - и спроецировал это поведение на всех в этой аудитории. Этот процесс напоминал предвыборный опрос, в ходе которого репрезентативная выборка ожидаемых избирателей прогнозируется, как проголосует остальная часть страны. Чтобы сделать свои оценки более точными, Facebook будет меньше полагаться на эти прогнозы. Вместо этого он будет полагаться на то, что ему известно о поведении всей целевой аудитории, и использовать это более полное представление для оценки потенциального охвата кампании.
По данным компании, в результате изменения методологии оценки аудитории Facebook могут отклоняться менее чем на 10 процентов от прогнозов, которые Facebook ранее предоставлял рекламодателям.
Предыстория несоответствия вовлеченности ссылок FacebookКак я уже упоминал выше, я столкнулся с ошибкой между двумя показателями вовлеченности ссылок Facebook, когда хотел подробнее посмотрите расследование фейковых новостей BuzzFeed.
BuzzFeed оценивал эффективность статей с фейковыми новостями на основе совокупного количества репостов, лайков и комментариев, а также ссылок на эти статьи, полученных на Facebook. BuzzFeed изучил все категории вовлеченности вместе взятые, и я хотел посмотреть, есть ли способ свести к минимуму количество репостов статей. Я полагал, что проверка количества репостов может конкретно сигнализировать о том, как изменение алгоритма новостной ленты, объявленное Facebook в июне, в котором приоритет отдается обмену публикациями на Странице в обычном режиме, может повлиять на распространение фейковых новостных статей на Facebook.
BuzzFeed использовал сторонний аналитический инструмент BuzzSumo для доступа и сбора этой статистики, но на самом деле цифры доступны любому, у кого есть учетная запись Facebook. Все, что вам нужно сделать, это вставить URL-адрес ссылки в инструмент Facebook Graph API Explorer, нажать «Отправить», и Facebook выдаст общее количество репостов, лайков и комментариев для этой ссылки, включая количество людей, вставивших ссылку в обновление статуса. опубликовано в Facebook. (Как ни странно, результирующая сумма классифицируется как «share_count», но документация Facebook Graph API определяет статистику как общее количество репостов, лайков и комментариев для этой ссылки).
Но Graph API давал мне только обновленные версии цифр, которые уже приводил BuzzFeed, и я хотел выделить подсчет расшариваний, чтобы увидеть, какой процент этих общих взаимодействий мог иметь больший вес для алгоритма Facebook. К счастью, статья, опубликованная The New York Times - по совпадению также о фейковых новостях - показала мне, что я могу получить доступ к этой статистике или к тому, что казалось близким прокси. В статье New York Times показано, что вы можете вставить URL-адрес ссылки в строку поиска мобильного приложения Facebook, и Facebook покажет вам количество людей, которые поделились этой ссылкой. Представитель Facebook позже пояснил, что эта статистика является показателем того, сколько людей поделились ссылкой на Facebook или прокомментировали сообщения, содержащие ссылку.
Для 20 ссылок на фейковые новости и 20 ссылок на настоящие новости из расследования BuzzFeed (группы с августа по день выборов) я извлек общее количество взаимодействий из API Graph API Facebook и общее количество людей, которые поделились ссылкой с мобильного телефона Facebook. результаты поиска. И тут я увидел нечто странное. По трем из этих 40 ссылок - на NBC News, Breitbart и Liberty News - Facebook сообщил, что ими поделилось или прокомментировало больше людей, чем поделилось, поставило лайк или прокомментировало. И расхождения были не малыми. На момент проверки ссылка NBC News получила 407 708 репостов и комментариев по результатам мобильного поиска, но 237 881 репостов, комментариев и лайков по результатам Graph API.
Поскольку Facebook все еще выясняет, почему существует расхождение между показателями вовлеченности ссылок, полученными через Graph API, и показателями, полученными через мобильный поиск, трудно сказать, какая из двух статистических данных ошибочна, если не обе.