Совместная фильтрация (CF) — это мощный алгоритмический метод, часто применяемый в рекомендательных системах. Его основная предпосылка — предсказать интересы конкретного пользователя путем сбора предпочтений от многих пользователей. В основе CF лежит предположение, что если два пользователя согласны по одному вопросу, они, скорее всего, согласятся и по другим.
Генезис и эволюция совместной фильтрации
Первое упоминание о совместной фильтрации было сделано в 1992 году Дэвидом Голдбергом и другими сотрудниками Xerox PARC при разработке Tapestry, ранней системы электронной почты. Tapestry был разработан, чтобы использовать человеческий интеллект и позволять людям добавлять аннотации или «теги» к входящим сообщениям, которые позже можно будет использовать для фильтрации сообщений.
В 1994 году проект GroupLens Университета Миннесоты представил термин «совместная фильтрация», предложив автоматизированный подход CF. В этом проекте использовался CF для новостей Usenet — сети групп новостей, в которых пользователи могли публиковать сообщения и которые они могли фильтровать по своим предпочтениям.
Развертывание совместной фильтрации
Совместная фильтрация в основном работает путем создания матрицы пользовательских элементов, которая содержит предпочтения (например, оценки), присвоенные пользователями элементам. Например, в контексте системы рекомендаций фильмов эта матрица будет содержать оценки, присвоенные пользователями различным фильмам.
CF основан на двух основных парадигмах: CF на основе памяти и CF на основе модели.
-
CF на основе памяти. Эта парадигма, также известная как CF на основе соседства, делает прогнозы на основе сходства между пользователями или элементами. Он подразделяется на CF «Пользователь-Пользователь» (идентифицирует пользователей, похожих на предполагаемого пользователя) и CF «Элемент-Элемент» (определяет элементы, похожие на те, которые оценил пользователь).
-
CF на основе модели. Этот подход предполагает разработку модели пользователей для изучения их предпочтений. Используемые методы: кластеризация, матричная факторизация, глубокое обучение и т. д.
Механизм совместной фильтрации
По своей сути процессы совместной фильтрации включают два этапа: поиск пользователей со схожими вкусами и рекомендации товаров на основе предпочтений этих схожих пользователей. Вот общая схема его работы:
- Рассчитайте сходство между пользователями или элементами.
- Прогнозируйте рейтинги элементов, которые еще не оценены пользователем.
- Рекомендовать топ-N товаров с самыми высокими прогнозируемыми рейтингами.
Сходство между пользователями или элементами обычно вычисляется с использованием косинусного сходства или корреляции Пирсона.
Ключевые особенности совместной фильтрации
- Персонализация: CF предоставляет персонализированные рекомендации, поскольку при выдаче рекомендаций учитывается поведение отдельного пользователя.
- Адаптивность: Он может адаптироваться к меняющимся интересам пользователя.
- Масштабируемость: Алгоритмы CF способны обрабатывать большие объемы данных.
- Проблема холодного запуска: Новые пользователи или новые элементы могут создавать проблемы, поскольку данных недостаточно для вынесения точных рекомендаций — проблема, известная как проблема холодного запуска.
Типы совместной фильтрации
| Тип | Описание |
|---|---|
| CF на основе памяти | Использует память о предыдущих взаимодействиях пользователей для вычисления сходства пользователей или элементов. |
| CF на основе модели | Включает этап обучения модели, а затем использует эту модель для прогнозирования. |
| Гибридный CF | Сочетает методы на основе памяти и модели для преодоления некоторых ограничений. |
Использование совместной фильтрации: проблемы и решения
CF находит широкое применение в различных областях, включая, помимо прочего, фильмы, музыку, новости, книги, исследовательские статьи, поисковые запросы, социальные теги и продукты в целом. Однако существуют такие проблемы, как:
- Проблема холодного запуска: Решение заключается в гибридных моделях, которые включают фильтрацию на основе контента или использование дополнительных метаданных о пользователях или элементах.
- Разреженность: Многие пользователи взаимодействуют с небольшим количеством элементов, в результате чего матрица элементов пользователя становится разреженной. Методы уменьшения размерности, такие как разложение по сингулярным значениям, могут решить эту проблему.
- Масштабируемость: По мере роста данных быстрое предоставление рекомендаций может стать ресурсоемким с точки зрения вычислений. Решения включают распределенные вычисления или использование более масштабируемых алгоритмов.
Сравнение с аналогичными методами
| Метод | Описание |
|---|---|
| Совместная фильтрация | Основано на предположении, что людям нравятся вещи, похожие на то, что им нравилось в прошлом, и вещи, которые нравятся людям со схожими вкусами. |
| Контентная фильтрация | Рекомендует элементы, сравнивая их содержимое с профилем пользователя. |
| Гибридные методы | Эти методы сочетают в себе совместную фильтрацию и фильтрацию на основе контента, чтобы избежать определенных ограничений. |
Будущие перспективы совместной фильтрации
С появлением более сложных технологий машинного обучения и искусственного интеллекта методы CF развиваются. Методы глубокого обучения теперь используются для разработки сложных моделей CF, предоставляя более точные рекомендации. Кроме того, исследования по решению проблем разреженности данных и проблемы холодного запуска продолжаются, что обещает более эффективные и действенные методы CF в будущем.
Прокси-серверы и совместная фильтрация
Прокси-серверы, подобные тем, которые предоставляет OneProxy, могут косвенно способствовать совместной фильтрации. Они обеспечивают анонимность и безопасность, позволяя пользователям просматривать страницы конфиденциально. Это побуждает пользователей свободно взаимодействовать с объектами в Интернете, не опасаясь поставить под угрозу свою конфиденциальность. Полученные данные важны для CF, поскольку для выдачи рекомендаций они в значительной степени полагаются на взаимодействие пользователя с элементом.
Ссылки по теме
- Группа исследований линз
- Исследования Netflix
- Исследования Амазонки
- Цифровая библиотека ACM за академические исследования по совместной фильтрации
- Google Scholar за научные статьи по совместной фильтрации
