Как работают рекомендации Тик Ток

Каждый день в приложении TikTok пользователи проводят в среднем 52 минуты, что на 23 минуты дольше, чем аналогичный показатель для Instagram и на 15 – для Facebook. Число загрузок в App Store и Google Play достигло полутора миллиардов. В 2020 году TikTok может похвастаться почти миллиардом активных пользователей каждый месяц. При этом приложение не блещет функциональностью: чуть ли не единственная его функция — это просмотр, оценка и загрузка коротких видео, что уже есть в любой существующей соцсети. В чем же магия этого на первый взгляд невзрачного приложения, которое делает пользователей просто одержимыми?

Особенности Тик Ток

Малая часть успеха объясняется тем, что всем нравятся детские шалости и милые видеоролики с котятами особенно во время всемирной изоляции. В совокупности видео TikTok с тегами #coronavirus были просмотрены 103.2 миллиарда раз.

Максимальная длительность видео в этом приложении не более минуты, тем не менее количество контента кажется бесконечным. Спрятанная под капотом одна из лучших в отрасли система рекомендаций уже знает за вас, что вы хотите посмотреть. Она и является главной фишкой TikTok, причиной его головокружительного успеха. Пользователю не нужно ничего искать или знать до такой степени, что в веб-приложении даже отсутствует поле для поиска. Персонализированная лента будет предоставлена клиенту сразу при запуске.

Алгоритмы автоматических рекомендаций не новость для специалистов по большим данным и Data Science в целом. Но комбинация новых технологий в области компьютерного обучения, компьютерного зрения и обработки естественных языков подняла данный концепт на другой уровень.

Рекомендации всегда были и остаются одной из основных ниш применения систем искусственного интеллекта. Вы их встречаете повсеместно. Давно ли вы заходили на YouTube или Netflix? Может, заказывали товары на Ozon или искали книги на ЛитРес?

Теперь давайте рассмотрим, что делает TikTok по-другому и как ему это удается.

Загрузка видео в Тик Ток

Схематично процесс обработки видео показан на диаграмме:

Пользователь выкладывает новое видео на свой канал. Оно загружается на сервера TikTok и проходит автоматическую обработку: приложение анализирует происходящее на видео с помощью технологий обработки естественного языка (Natural Language Processing) и компьютерного зрения (computer vision). CV распознает зафиксированные на видео объекты. NLP транскрибирует аудио, по сути распознает речь и классифицирует сторонние звуки. Например, вы решили снять свое рабочее место в офисе. В кадр попали ваша коллега, стол, окно, ноутбук, стакан с кофе. Если вы вели разговор, то его содержание также будет учтено системой. Кроме этого, программа использует метаданные, предоставленные пользователем: название ролика, описание и хештеги.
Алгоритм TikTok анализирует видео и принимает решение насчет допустимости его содержания в соответствии с правилами сообщества (Community guidelines). Система может отметить ваш контент как безопасный, подозрительный или недопустимый.

Если видео признано точно нарушающим одно из правил сообщества, то оно будет отклонено, а пользователю выдано предупреждение.

Если система не может решить, как поступить с данным контентом, то он маркируется как подозрительный и передается на ручную классификацию. Далее модератор решит, пропустить видео на платформу или нет. Тоже самое происходит при поступлении жалобы (report).

Если же в вашем ролике не найдено нарушений, TikTok сравнит ваше видео с раннее загруженными в приложение и оценит соответствие введенных вами ключевых слов (тегов) реальному его содержанию. Неуникальный контент не будет появляться в рекомендациях пользователей (сильно ограниченный трафик), но будет сохранен на вашем канале и будет доступен для подписчиков и случайных посетителей.

Пройдя столь тщательный досмотр, ваш ролик начнет свою первую итерацию в рекомендательной системе.

Как работают рекомендации Тик Ток

Весь жизненный цикл контента показан на следующей диаграмме:

Движок рекомендаций предсказывает, кому вероятнее всего понравится видео. При этом используется следующая информация:

• видеоданные, полученные на предыдущем шаге;
• результаты кластеризации пользователей по раннее успешным рекомендациям;
• скрытый рейтинг данного видео (не учитывается на начальной итерации);
• ваше местоположение, закрепленный к аккаунту регион.

Также в расчете участвует скрытый рейтинг канала, который определяется качеством вашего предыдущего контента. Этот показатель не влияет на то, кому будет показан ролик, – он увеличивает или уменьшает начальный трафик пользователей, предоставленный для данного видео.

Сначала ролик рекомендуется небольшой аудитории, которой нравится контент, похожий на ваш. Пользователи смотрят видео и в зависимости от их реакции оно получает скрытую оценку.

TikTok учитывает действия пользователя следующим образом:

• повторный просмотр видео – 8 баллов;
• ролик был просмотрен до конца – 6 баллов;
• зритель решил поделиться контентом – 3 балла;
• оставил комментарий – 2 балла;
• поставил лайк – 1 балл.

Представленные выше баллы не претендуют на существование в реальной системе рекомендаций TikTok. Они только показывают относительную важность факторов, учитываемых при расчете скрытого рейтинга.

Для оценки степени удовлетворения пользователя контентом количество времени, потраченного на просмотр, является важнейшим показателем. Данное решение было принято, чтобы усложнить работу клик-ферм (click farms) по искусственному продвижению каналов и конкретных видео.
В зависимости от набранной оценки видео признается успешным или неуспешным.

Если ваш контент не нашел отзыва в сердцах аудитории, его жизненный цикл заканчивается: вы перестаете получать лайки и комментарии, видео более не рекомендуется пользователям. Если точнее, шанс появление данного ролика в ленте становится минимальным, но при определенных обстоятельствах он снова может оказаться в игре (об этом ниже).

Однако, если видео удовлетворяет определенным критериям, оно перемещается в более широкий пул пользователей. Ролик снова рекомендуется, действия пользователей регистрируются и опять принимается решение о поднятии вашего контента в следующий по размеру кластер.

Дальнейшая судьба контента в Тик Ток

Контент, который прошел множество итераций, является тем, что подходит большинству пользователей. Такие видео часто называют вирусными. Именно эти ролики показывают людям, которые только установили приложение. Первая последовательность видео, предлагаемая TikTok, нацелена на выполнение 2х вещей: удерживать пользователя в приложении как можно дольше и узнать все о его предпочтениях.

Скрытый рейтинг вашего контента создается как взвешенная сумма множества факторов, а не просто пересчет баллов. Например, TikTok повторяет текущее видео, если пользователь явно не перелистнул его. Хитрый автор сделал короткий бесшовный ролик так, чтобы пользователь не заметил его конца и посмотрел его дважды, может, трижды. Такие видео обычно раздражают пользователей, и создатель может не рассчитывать на большое количество лайков (низкий коэффициент вовлеченности). Как уже было сказано, они имеют минимальное влияние на рейтинг, но недобор определенного процента лайков (вычисляется от количества просмотров) сильно понизит шансы участия видео в следующей итерации.

После того, как жизненный цикл видео был завершен, алгоритм рекомендательной системы, известный как могильщик (gravedigger), может выбрать данный ролик для повторного прохождения, описанного выше цикла. Решающим фактором является скрытая оценка качества контента на вашем канале. Также, если одно из ваших видео находится в широком пуле, то небольшому количеству пользователей будут порекомендованы другие ваши видео.

Вывод

В итоге, у разработчиков TikTok получилось создать алгоритм, требующий нулевой настройки от пользователя и предоставляющий высокоточные рекомендации. Вне зависимости от возраста, пола и демографии платформа создаст крайне персонализированную последовательность видео, которые вам точно понравятся.