Wstęp
Dynamiczny rozwój platform cyfrowej dystrybucji treści multimedialnych, obserwowany w ciągu ostatnich dwóch dekad, doprowadził do fundamentalnej zmiany sposobu, w jaki użytkownicy wchodzą w interakcję z kulturą filmową. Serwisy strumieniowego przesyłania wideo, takie jak Netflix, Amazon Prime Video czy Disney+, zgromadziły w swoich katalogach dziesiątki tysięcy tytułów filmowych i seryjnych, oferując dostęp do nich w trybie natychmiastowym, bez ograniczeń geograficznych i o dowolnej porze. Konsekwencją tej obfitości jest jednak paradoks wyboru — zjawisko, w którym nadmierna liczba dostępnych opcji nie ułatwia, lecz utrudnia podjęcie decyzji, prowadząc do frustracji użytkownika i obniżenia jego satysfakcji z korzystania z platformy. Problem przeładowania informacyjnego, rozpoznany i opisany w literaturze informatycznej już w latach dziewięćdziesiątych XX wieku, nabiera w kontekście platform multimedialnych szczególnej ostrości: użytkownik skonfrontowany z katalogiem liczącym kilkanaście tysięcy pozycji jest w praktyce pozbawiony możliwości dokonania świadomego i racjonalnego wyboru bez wsparcia ze strony zautomatyzowanych mechanizmów rekomendacyjnych.[2]
Systemy rekomendacji stanowią odpowiedź na opisany problem — są to narzędzia informatyczne zdolne do analizowania danych o historycznych zachowaniach i preferencjach użytkowników oraz generowania na ich podstawie spersonalizowanych sugestii dotyczących treści, z którymi dany użytkownik dotychczas nie miał kontaktu.[1] W ciągu ostatnich trzydziestu lat metody rekomendacyjne przeszły gruntowną ewolucję: od prostych mechanizmów filtracji kolaboratywnej opartych na pamięci, przez modele faktoryzacji macierzy, aż po głębokie sieci neuronowe zdolne do automatycznego wydobywania wielopoziomowych reprezentacji zarówno użytkowników, jak i elementów katalogu.[6] Pomimo tego postępu, praktyczne wdrożenia systemów rekomendacyjnych w środowiskach produkcyjnych nadal napotykają szereg fundamentalnych trudności, spośród których najistotniejszymi pozostają: problem rzadkości macierzy ocen, zjawisko zimnego startu dla nowych użytkowników lub nowych filmów, tendencja do nadmiernej koncentracji rekomendacji wokół popularnych tytułów kosztem różnorodności generowanych list, a także ograniczona zdolność modeli jednokomponentowych do syntezy heterogenicznych sygnałów informacyjnych.
Niniejsza praca magisterska podejmuje problematykę projektowania i implementacji hybrydowego systemu rekomendacji filmów, łączącego podejście filtracji kolaboratywnej z metodami opartymi na treści w ramach architektury głębokiego uczenia. Wybór tematu podyktowany jest zarówno jego teoretyczną doniosłością — hybrydy metod rekomendacyjnych stanowią aktywnie rozwijany nurt badań w dziedzinie systemów informacyjnych i uczenia maszynowego — jak i jego praktyczną relewancją dla przemysłu mediów cyfrowych, w którym jakość algorytmów rekomendacyjnych bezpośrednio przekłada się na wskaźniki zaangażowania użytkowników i retencji abonentów. Głębokie uczenie, będące dominującym paradygmatem współczesnej sztucznej inteligencji, oferuje w tym kontekście szereg zasadniczych przewag nad metodami klasycznymi: zdolność do automatycznej ekstrakcji cech o wysokiej abstrakcji, efektywne modelowanie nieliniowych zależności w przestrzeniach wielowymiarowych oraz możliwość integracji danych heterogenicznych — w tym danych tekstowych, metadanych strukturalnych i historii interakcji użytkowników — w ramach jednolitej architektury obliczeniowej.[8]
Głównym celem badawczym pracy jest opracowanie, implementacja i eksperymentalna weryfikacja hybrydowego systemu rekomendacji filmów opartego na głębokim uczeniu, który charakteryzować się będzie wyższą skutecznością mierzoną standardowymi metrykami trafności rankingowej w porównaniu z metodami jednokomponentowymi, przy jednoczesnym zachowaniu satysfakcjonującego poziomu różnorodności generowanych list rekomendacji. Cel główny jest realizowany przez szereg celów cząstkowych, obejmujących: krytyczne zestawienie i klasyfikację metod rekomendacyjnych stosowanych w systemach filmowych, projekt modularnej architektury systemu hybrydowego umożliwiającej niezależne rozwijanie komponentów składowych, implementację prototypu systemu z wykorzystaniem wybranych bibliotek uczenia głębokiego oraz przeprowadzenie wielowymiarowej ewaluacji eksperymentalnej na publicznie dostępnych zbiorach danych.
W pracy postawione zostały trzy hipotezy badawcze. Pierwsza z nich głosi, że architektura hybrydowa łącząca filtrację kolaboratywną z podejściem opartym na treści osiąga istotnie wyższe wartości miar trafności rankingowej aniżeli każda z metod składowych stosowana oddzielnie.[7] Hipoteza druga zakłada, że zastosowanie głębokiego uczenia do modelowania reprezentacji użytkowników i filmów prowadzi do poprawy jakości rekomendacji w warunkach rzadkości danych w porównaniu z klasycznymi metodami faktoryzacji macierzy opartymi na algebrze liniowej.[2] Hipoteza trzecia dotyczy odporności systemu hybrydowego na problem zimnego startu: sformułowane jest założenie, że komponent oparty na treści zapewnia skuteczniejszą inicjalizację procesu rekomendacji dla nowych użytkowników i nowych filmów niż sam komponent kolaboratywny pozbawiony dostępu do informacji treściowych.[6]
W celu weryfikacji sformułowanych hipotez zastosowane zostały metody charakterystyczne dla badań empirycznych w informatyce. Etap przeglądu literatury opierał się na systematycznej analizie prac naukowych opublikowanych w recenzowanych czasopismach i materiałach konferencyjnych poświęconych systemom rekomendacyjnym, uczeniu maszynowemu i przetwarzaniu języka naturalnego. Projekt systemu realizowany był zgodnie z zasadami inżynierii oprogramowania zorientowanej na architekturę modularną, z uwzględnieniem wymogów skalowalności i testowalności poszczególnych komponentów. Implementacja prototypu przeprowadzona została w środowisku programistycznym języka Python z wykorzystaniem bibliotek przeznaczonych do budowy głębokich sieci neuronowych. Ewaluacja eksperymentalna oparta została na paradygmacie oceny offline z podziałem danych na zbiory uczące, walidacyjne i testowe według protokołu stosowanego w porównywalnych badaniach literaturowych.[2] Jako miary jakości przyjęte zostały metryki trafności rankingowej powszechnie stosowane w ocenie systemów rekomendacyjnych, uzupełnione o miary różnorodności i nowatorstwa generowanych list.[4]
Praca zorganizowana jest w cztery zasadnicze rozdziały merytoryczne, poprzedzone niniejszym wstępem i zamknięte podsumowaniem. Rozdział pierwszy poświęcony jest teoretycznym podstawom systemów rekomendacji: omówione zostają w nim definicja i klasyfikacja systemów rekomendacyjnych, charakterystyka głównych podejść algorytmicznych — filtracji kolaboratywnej, metod opartych na treści oraz podejść hybrydowych — a także matematyczne podstawy modeli stosowanych w rekomendacji filmowej, ze szczególnym uwzględnieniem faktoryzacji macierzy i głębokich sieci neuronowych. Rozdział drugi stanowi przegląd istniejących metod i rozwiązań stosowanych w systemach rekomendacji filmów: przedstawiona zostaje w nim ewolucja algorytmów rekomendacyjnych, charakterystyka kluczowych zbiorów danych wykorzystywanych w badaniach nad rekomendacją filmową, a także analiza porównawcza wybranych systemów produkcyjnych stosowanych przez czołowe platformy streamingowe. Rozdział trzeci opisuje projekt i implementację hybrydowego systemu rekomendacji opracowanego na potrzeby niniejszej pracy: omówiona zostaje architektura systemu, specyfikacja poszczególnych modułów, przebieg procesu uczenia modeli składowych oraz zastosowane mechanizmy integracji wyników komponentów kolaboratywnego i treściowego. Rozdział czwarty prezentuje wyniki ewaluacji eksperymentalnej: szczegółowo opisana zostaje metodologia oceny, przyjęte miary jakości, wybrane metody bazowe oraz analiza wyników uzyskanych przez proponowany system w porównaniu z punktami odniesienia, zakończona krytyczną dyskusją z perspektywy postawionych hipotez badawczych.[3]
Znaczenie naukowe prezentowanej pracy przejawia się w kilku wymiarach. Po pierwsze, praca wnosi wkład do systematycznej wiedzy o skuteczności architektur hybrydowych głębokiego uczenia w zadaniu rekomendacji filmowej poprzez przeprowadzenie kontrolowanych eksperymentów porównawczych z udziałem reprezentatywnych metod bazowych. Po drugie, zaproponowana modularna architektura systemu stanowi wzorzec projektowy możliwy do adaptacji i rozszerzenia w przyszłych badaniach, umożliwiając niezależną wymianę komponentów składowych bez naruszania integralności całości. Po trzecie, analiza zachowania systemu w warunkach ograniczonej dostępności danych dostarcza empirycznych podstaw do oceny praktycznej użyteczności podejść hybrydowych w środowiskach produkcyjnych, gdzie problem rzadkości i zimnego startu ma charakter strukturalny.[8] Znaczenie praktyczne pracy wiąże się natomiast z projektowaniem systemów rekomendacyjnych zdolnych do generowania list rekomendacji o wyższej trafności i różnorodności, co przekłada się bezpośrednio na poprawę doświadczenia użytkownika platform multimedialnych i efektywniejsze zagospodarowanie zasobów katalogowych przez ich operatorów. Opracowane rozwiązania i wnioski mogą stanowić punkt wyjścia dla dalszych prac badawczo-wdrożeniowych w obszarze personalizacji treści cyfrowych, uwzględniających takie aspekty jak uczenie ciągłe w warunkach strumienia danych, eksploracja preferencji użytkownika czy uwzględnienie kontekstu czasowego i sytuacyjnego w procesie generowania rekomendacji.[5]
Rozdział 1: Teoretyczne podstawy systemów rekomendacji
1.1. Pojęcie i klasyfikacja systemów rekomendacji
Systemy rekomendacji stanowią jedną z najszerzej stosowanych klas inteligentnych systemów informacyjnych w dobie cyfrowej transformacji. W literaturze przedmiotu formułowane są różnorodne definicje tego pojęcia, których wspólnym mianownikiem jest koncepcja automatycznego dopasowania elementów do indywidualnych preferencji użytkownika. Zgodnie z klasycznym ujęciem Ricciego, Rokacha i Shapiry, system rekomendacji to oprogramowanie, które analizuje dane o zachowaniach i preferencjach użytkowników w celu generowania spersonalizowanych sugestii dotyczących elementów, z którymi dany użytkownik dotychczas nie miał kontaktu.[11] Współczesne ujęcia operacyjne, stosowane w inżynierii systemów informacyjnych, precyzują ten cel jako zadanie predykcji — estymację wartości odzwierciedlającej stopień zainteresowania użytkownika u elementem i spośród katalogu pozycji nieocenionych przez niego wcześniej. W tym sensie problem rekomendacji jest szczególnym przypadkiem problemu uzupełniania brakujących danych w macierzy interakcji użytkownik–element, w której zdecydowana większość komórek pozostaje pusta.[2, s. 24]
Systemy rekomendacyjne odgrywają niezwykle istotną rolę w dzisiejszym cyfrowym świecie, będąc nieodłącznym elementem platform strumieniowego przesyłania treści, serwisów handlu elektronicznego, a także wielu innych usług internetowych, w których personalizacja i dostosowanie treści do indywidualnych preferencji użytkowników stanowią klucz do sukcesu.[2, s. 24] Działają one na styku zaawansowanych technologii, takich jak uczenie maszynowe, przetwarzanie języka naturalnego oraz analiza dużych zbiorów danych, a ich zdolność do przewidywania zainteresowań i preferencji może znacząco wpłynąć na doświadczenie użytkownika i wyniki biznesowe organizacji wdrażającej takie rozwiązania. W erze cyfrowej, w której każda interakcja online — od kliknięć po przewijanie strony — jest rejestrowana, systemy rekomendacyjne stały się kluczowym narzędziem w zestawie nowoczesnych technologii informacyjnych.[2, s. 24]
Podstawowa klasyfikacja systemów rekomendacji opiera się na kryterium stosowanego podejścia algorytmicznego. Wyróżnia się trzy główne paradygmaty: filtrację kolaboratywną, filtrację opartą na treści elementów oraz podejścia hybrydowe łączące oba wspomniane nurty w różnych konfiguracjach architektonicznych. Filtracja kolaboratywna opiera się na założeniu, że użytkownicy o zbliżonych wzorcach zachowań w przeszłości będą wykazywać podobne preferencje w przyszłości, a tym samym oceny i wybory innych użytkowników stanowią cenne źródło informacji predykcyjnej.[2, s. 28] Filtracja oparta na treści natomiast analizuje cechy i atrybuty opisowe samych elementów, budując profil preferencji użytkownika na podstawie właściwości pozycji, które zostały przez niego ocenione pozytywnie, i dopasowując do tego profilu nowe propozycje.[2, s. 25] Podejścia hybrydowe zostały opracowane w celu przezwyciężenia ograniczeń metod jednorodnych, łącząc mocne strony obu podejść na różnych poziomach architektury systemu.
Drugą istotną oś klasyfikacji stanowi kryterium trybu działania systemu: systemy pracujące w trybie wsadowym (ang. offline) obliczają rekomendacje z wyprzedzeniem i przechowują je w celu szybkiego odczytu, natomiast systemy czasu rzeczywistego (ang. online) generują spersonalizowane listy propozycji dynamicznie w odpowiedzi na bieżące zdarzenia użytkownika, uwzględniając jego najnowszą aktywność. Wybór między tymi trybami jest podyktowany kompromisem między aktualnością rekomendacji a kosztem obliczeniowym i wymaganiami infrastrukturalnymi. Dodatkowym kryterium podziału jest charakter danych wejściowych: systemy oparte na jawnych ocenach (ang. explicit feedback), w których użytkownicy bezpośrednio wyrażają swoje preferencje przez wystawianie ocen liczbowych, oraz systemy oparte na niejawnych sygnałach zwrotnych (ang. implicit feedback), które wnioskują o preferencjach z zachowań pośrednich, takich jak czas oglądania, liczba odtworzeń, dodanie do listy ulubionych czy rezygnacja z odtwarzania.
W kontekście domenowym niniejszej pracy, jakim jest przemysł filmowy i multimedialny, specyfika danych stawia przed systemami rekomendacji szereg charakterystycznych wyzwań. Przestrzeń atrybutów tytułów filmowych jest szczególnie heterogeniczna: obejmuje zarówno dane strukturalne (gatunek, rok produkcji, kraj, język, certyfikat wiekowy, czas trwania), jak i dane tekstowe (synopsy fabularne, recenzje krytyków, opisy reżyserskie), dane encji (obsada aktorska, ekipa filmowa) oraz dane audiowizualne (plakaty, zwiastuny). Oceny użytkowników charakteryzują się wyraźną subiektywnością i niestabilnością w czasie, a rozkład popularności tytułów wykazuje silną skośność — nieliczne superprodukcje zdobywają dominującą liczbę ocen, podczas gdy ogromna większość tytułów z tzw. długiego ogona (ang. long tail) pozostaje mało znana i rzadko oceniana. Znaczenie ekonomiczne i społeczne dobrze działającego systemu rekomendacji jest zatem duże: wzrost zaangażowania użytkowników platform strumieniowych, ograniczenie paradoksu wyboru w obliczu przytłaczającej liczby dostępnych tytułów, personalizacja oferty jako czynnik retencji abonentów. Równocześnie należy dostrzegać zagrożenia związane z efektem bańki informacyjnej (ang. filter bubble) — tendencją systemu do zawężania ekspozycji użytkownika wyłącznie do treści zbieżnych z jego dotychczasowymi preferencjami, co prowadzi do homogenizacji konsumpcji i ogranicza odkrywanie różnorodnych dzieł filmowych.
1.2. Filtracja kolaboratywna — mechanizmy i modele
Filtracja kolaboratywna jest jednym z najbardziej rozpowszechnionych i efektywnych podejść do budowania systemów rekomendacyjnych.[2, s. 28] Jej fundament stanowi intuicja, że „mądrość tłumu" — zagregowane zachowania i oceny wystawiane przez społeczność użytkowników — dostarcza cennej informacji predykcyjnej na temat preferencji jednostki. W przeciwieństwie do filtrowania opartego na treści, które analizuje podobieństwa między cechami produktów a zainteresowaniami użytkownika, filtrowanie kolaboratywne polega na wykorzystaniu ocen elementów przez wielu użytkowników, aby przewidzieć, co może się spodobać wybranemu użytkownikowi, bez konieczności analizowania treści samych elementów.[2, s. 28] Formalnym modelem problemu jest macierz interakcji użytkownik–element R ∈ ℝU×I, gdzie U oznacza liczbę użytkowników, I liczbę elementów, a wartości komórek reprezentują oceny — jawne lub niejawne. Kluczową cechą tej macierzy jest jej rzadkość: dla większości rzeczywistych systemów rekomendacyjnych tylko niewielka część komórek jest wypełniona, gdyż każdy użytkownik ocenia zaledwie ułamek dostępnych elementów.[2, s. 28]
W macierzy ocen wiersze zazwyczaj odpowiadają poszczególnym użytkownikom, a kolumny poszczególnym elementom. Wartości w komórkach macierzy to oceny danego elementu przez użytkownika, które mogą być wystawiane przez niego bezpośrednio — na przykład przez umożliwienie mu wyboru liczby gwiazdek w skali od 1 do 5 albo przycisków „lubię" lub „nie lubię" — albo też pośrednio, w momencie jego interakcji z produktem, kiedy pod uwagę bierze się czas spędzony na oglądaniu, zadanie pytania, wystawienie komentarza, dodanie produktu do ulubionych czy zakup.[2, s. 28] Metoda filtracji kolaboratywnej polega na wypełnieniu macierzy w miejscach pustych najbardziej prawdopodobnymi ocenami danego elementu przez użytkownika, co stanowi istotę problemu predykcji preferencji.
W najogólniejszej klasyfikacji algorytmy filtrowania kolaboratywnego dzieli się na podejścia oparte na pamięci (ang. memory-based) oraz na modelach (ang. model-based), w których stosuje się techniki uczenia maszynowego.[2, s. 29] W ramach podejścia opartego na pamięci wyróżnia się filtrowanie oparte na użytkownikach (ang. user-based CF): system wyszukuje użytkowników o podobnych preferencjach do danego użytkownika i na tej podstawie generuje rekomendacje. Obliczanie podobieństwa odbywa się najczęściej przy pomocy miary kosinusowej lub korelacji Pearsona, po czym budowane jest sąsiedztwo k-NN złożone z najbliższych użytkowników, a predykcja oceny wyznaczana jest jako ważona suma ocen sąsiadów z wagami proporcjonalnymi do miar podobieństwa. Analogiczną strukturę ma filtrowanie oparte na elementach (ang. item-based CF), w którym to nie użytkownicy, lecz elementy są porównywane wzajemnie, a rekomendacje dla danego użytkownika wyznaczane są na podstawie podobieństwa nowych elementów do tych, które użytkownik już ocenił.
Centralne miejsce wśród algorytmów filtracji kolaboratywnej opartych na modelach zajmuje faktoryzacja macierzy ocen (ang. matrix factorization), której popularność została ugruntowana przez wyniki konkursu Netflix Prize.[12] Metoda ta polega na rozłożeniu macierzy R na iloczyn dwóch macierzy niskiego rzędu: macierzy czynników użytkownika P ∈ ℝU×k oraz macierzy czynników elementu Q ∈ ℝI×k, gdzie k oznacza wymiar przestrzeni ukrytej (ang. latent space). Predykcja oceny użytkownika u dla elementu i wyznaczana jest jako iloczyn skalarny odpowiadających wektorów ukrytych: r̂ui = puT qi. Wektory ukryte są wyznaczane przez minimalizację błędu rekonstrukcji — najczęściej błędu średniokwadratowego — metodą stochastycznego gradientu prostego (SGD) lub naprzemiennych najmniejszych kwadratów (ALS), z regularyzacją L2 zapobiegającą przeuczeniu. Model SVD++ rozszerza podstawowe podejście o uwzględnienie niejawnych sygnałów zwrotnych, co w praktyce prowadzi do istotnej poprawy trafności predykcji w zbiorach z dominującym udziałem ocen niejawnych.
Dwa fundamentalne wyzwania filtracji kolaboratywnej wymagają szczegółowego omówienia ze względu na ich szczególną doniosłość w domenie filmowej. Problem rzadkości danych (ang. data sparsity) polega na tym, że nawet w dużych zbiorach danych filmowych, takich jak MovieLens 25M zawierający ponad 25 milionów ocen, każdy użytkownik ocenił zaledwie niewielki ułamek z kilkudziesięciu tysięcy dostępnych tytułów, co sprawia, że obliczanie miarodajnych miar podobieństwa staje się trudne lub niemożliwe dla par użytkowników o bardzo małej liczbie wspólnie ocenionych elementów. Problem zimnego startu (ang. cold start) dotyczy sytuacji, w której system musi generować rekomendacje dla nowych użytkowników pozbawionych historii interakcji lub dla nowych elementów nieposiadających żadnych ocen. Strategie mitygacji obu problemów obejmują techniki imputacji brakujących wartości, inicjalizację profilu użytkownika na podstawie danych demograficznych lub deklarowanych preferencji, metody transferu wiedzy (ang. transfer learning) z pokrewnych dziedzin oraz zastosowanie informacji z treści elementów jako uzupełniającego sygnału — co naturalnie prowadzi ku podejściom hybrydowym.
1.3. Filtracja oparta na treści elementów
Filtracja oparta na treści (ang. content-based filtering) stanowi drugą z klasycznych metod stosowanych w systemach rekomendacyjnych.[2, s. 25] Jej paradygmat różni się zasadniczo od filtracji kolaboratywnej: zamiast polegać na danych zbiorowych dotyczących zachowań innych użytkowników, metoda ta opiera się wyłącznie na atrybutach opisowych samych elementów oraz na indywidualnym profilu preferencji danego użytkownika budowanym na podstawie cech elementów przez niego ocenionych. Podstawowym założeniem filtrowania bazującego na treści jest przekonanie, że użytkownik będzie zainteresowany produktami odpowiadającymi jego profilowi stworzonemu w systemie.[2, s. 25] Podejście to cechuje się niezależnością od danych innych użytkowników, co czyni je efektywnym nawet przy mniejszej liczbie użytkowników oraz eliminuje jeden z aspektów problemu zimnego startu — systemy tego rodzaju mogą generować rekomendacje od pierwszej interakcji użytkownika z systemem.
Wdrożenie systemu filtrowania opartego na treści wymaga przeprowadzenia czterech kluczowych etapów.[2, s. 25] Pierwszym z nich jest ekstrakcja cech: system identyfikuje kluczowe atrybuty produktów lub elementów będących przedmiotem rekomendacji. Mogą to być gatunek filmu, autor książki, składniki potrawy czy specyfikacje techniczne produktu. W prostym przykładzie systemu rekomendującego filmy cechy opisujące przynależność gatunkową mogą być wyrażone w skali od 0 do 1, określając jak silnie film przynależy do danego gatunku.[2, s. 25] Drugi etap to profilowanie użytkownika: system tworzy profil preferencji na podstawie interakcji użytkowników z różnymi elementami serwisu. Interakcje te mogą obejmować oceny, przeglądanie lub zakup produktów.[2, s. 26] Profil użytkownika zawiera wagi cech odpowiadające jego zainteresowaniom — mogą być one ustalone bezpośrednio przez użytkownika w ankiecie przy rejestracji lub pośrednio wnioskowane z historii interakcji.
Trzecim etapem jest dopasowanie: algorytm oblicza podobieństwo między profilem użytkownika a cechami każdego z produktów.[2, s. 26] Najczęściej wykorzystywanymi miarami podobieństwa są: odległość kosinusowa — szczególnie popularna dla reprezentacji TF-IDF, gdyż jest niezmiennicza na długość wektora i tym samym odporna na różnice w objętości opisów; współczynnik podobieństwa Jaccarda — stosowany dla danych binarnych; korelacja Pearsona — stosowana gdy oceny i wagi cech są wyrażone w skali numerycznej; odległość euklidesowa oraz metryka Hamminga dla atrybutów kategorycznych. Czwartym i ostatnim etapem jest ranking: na podstawie obliczonych miar podobieństwa każdemu użytkownikowi tworzy się indywidualną posortowaną listę produktów. Na jej szczycie znajdują się elementy najbardziej podobne do profilu użytkownika.[2, s. 26]
Atrybuty filmów stosowane w systemach filtracji opartej na treści można podzielić na kilka kategorii. Atrybuty strukturalne — metadane formalne — obejmują gatunek (wektor binarny lub rozmyty kategorii tematycznych), rok produkcji, kraj i język, certyfikat wiekowy oraz czas trwania. Atrybuty tekstowe obejmują synopsy fabularne, opisy reżyserskie i recenzje krytyków, które przetwarzane są metodami przetwarzania języka naturalnego: tokenizację, usuwanie wyrazów funkcyjnych (ang. stop-words), lematyzację oraz reprezentację TF-IDF lub za pomocą gęstych osadzeń słownych (Word2Vec, GloVe, FastText). Atrybuty osobowe, takie jak obsada aktorska i ekipa filmowa, reprezentowane są jako wektory binarne lub nauczone osadzenia encji.[13] Decydującą rolę w jakości systemu odgrywa kompletność i standaryzacja tych danych — jak podkreśla się w literaturze, ten rodzaj systemu rekomendacyjnego sprawdza się dobrze, gdy posiadamy pełną kontrolę i standaryzację informacji o elementach serwisu.[2, s. 27]
Filtrowanie bazujące na treści posiada zarówno wyraźne zalety, jak i istotne ograniczenia, które należy wziąć pod uwagę przy projektowaniu systemu. Do zalet należą: wysoka personalizacja rekomendacji ściśle związanych z indywidualnym profilem użytkownika; brak konieczności posiadania danych od innych użytkowników, co czyni te systemy efektywnymi nawet przy mniejszej liczbie użytkowników; a także możliwość łatwego wyjaśnienia użytkownikowi, dlaczego dany element został zarekomendowany, ponieważ rekomendacja oparta jest na konkretnych cechach produktów.[2, s. 26] Do wyzwań i ograniczeń należą natomiast: problem nadspecjalizacji (ang. over-specialization) — system może rekomendować elementy zbyt podobne do tych, które użytkownik już zna, co ogranicza odkrywanie nowych, nieznanych kategorii; trudność w zapewnieniu kompletności i jakości opisów elementów, co może być trudne do uzyskania dla niektórych typów produktów lub treści; a w przypadku nowych użytkowników — problem zimnego startu polegający na braku wystarczającej historii do budowy profilu.[2, s. 27] Zaimplementowanie takiego systemu w praktyce wymaga stosowania technik przetwarzania języka naturalnego dla tekstów, analizy obrazu dla multimediów oraz innych specjalistycznych metod dla różnych typów danych.[2, s. 27]
Profil użytkownika może być konstruowany w sposób statyczny lub dynamiczny. Model statyczny reprezentuje profil jako centroid wektorów cech pozytywnie ocenionych przez użytkownika — jest prosty w implementacji, lecz nie uwzględnia temporalnego dryfowania preferencji. Modele dynamiczne uwzględniają zmianę zainteresowań w czasie, przypisując wyższe wagi ocenom wystawionym w ostatnim okresie aktywności lub modelując ewolucję preferencji za pomocą technik sekwencyjnych. Zarówno systemy statyczne, jak i dynamiczne napotykają ograniczenie trudności precyzyjnej reprezentacji subiektywnych atrybutów jakościowych, takich jak nastrój, styl reżyserski czy wartość artystyczna dzieła filmowego — aspektów, które w ocenach użytkowników odgrywają istotną, lecz trudno wymierną rolę.
1.4. Głębokie uczenie w zastosowaniach rekomendacyjnych
Rosnąca dostępność dużych zbiorów danych o interakcjach użytkowników z platformami cyfrowymi, połączona z gwałtownym wzrostem mocy obliczeniowej i rozwojem specjalizowanego sprzętu (GPU, TPU), stworzyła warunki dla zastosowania metod głębokiego uczenia w systemach rekomendacyjnych. Metody te charakteryzują się zdolnością do automatycznej ekstrakcji nieliniowych wzorców z danych wielowymiarowych, efektywnej reprezentacji heterogenicznych źródeł informacji w jednej przestrzeni osadzeń oraz skalowalności do zbiorów danych o rozmiarze przemysłowym — właściwościami, których tradycyjne metody filtracji kolaboratywnej i opartej na treści nie zapewniają w pełni. W obszarze sztucznej inteligencji obserwuje się przy tym istotną synergie z informatycznymi systemami zarządzania, gdzie zdolność algorytmów do uczenia się na podstawie danych, przetwarzania języka naturalnego oraz podejmowania decyzji w warunkach niepełnej informacji powoduje, że staje się ona nieodzownym elementem nowoczesnych rozwiązań informatycznych.[4, s. 5]
Kluczowym przełomem w zastosowaniu głębokiego uczenia do filtracji kolaboratywnej było opracowanie modelu Neural Collaborative Filtering (NCF).[14] Model ten zastępuje liniowy iloczyn skalarny wektorów ukrytych, stosowany w klasycznej faktoryzacji macierzy, wielowarstwowym perceptronem (ang. Multi-Layer Perceptron, MLP), co umożliwia modelowanie nieliniowych interakcji między użytkownikami a elementami niemożliwych do uchwycenia przez tradycyjne podejścia. W ramach NCF wyróżnia się model GMF (ang. Generalized Matrix Factorization) jako neuronowy odpowiednik klasycznej faktoryzacji macierzy oraz model NeuMF (ang. Neural Matrix Factorization) łączący GMF i MLP — wyniki obu komponentów są konkatenowane i przepuszczane przez dodatkową warstwę wyjściową. Wspólna przestrzeń osadzeń umożliwia modelowi jednoczesne uczenie się zarówno liniowych, jak i nieliniowych zależności między reprezentacjami użytkowników i elementów.
Autoenkodery (ang. autoencoders) stanowią kolejną ważną klasę architektur stosowanych w systemach rekomendacyjnych. Model AutoRec traktuje wektory ocen użytkowników lub elementów jako dane wejściowe i uczy się ich rekonstrukcji przez wąskie gardło warstwy ukrytej, generując tym samym gęste, niskowymiarowe reprezentacje latentne. Wariacyjne autoenkodery (VAE) rozszerzają tę koncepcję przez narzucenie probabilistycznej struktury na przestrzeń latentną — kodowanie wejść jako parametrów rozkładu normalnego i losowanie reprezentacji latentnych z tego rozkładu. Model VAECF (ang. Variational Autoencoders for Collaborative Filtering) wykazuje szczególnie korzystne właściwości w scenariuszach z dominującymi niejawnymi sygnałami zwrotnymi, generując bardziej różnorodne i mniej skłonne do nadspecjalizacji rekomendacje w porównaniu z deterministycznymi autoenkoderami.
Mechanizmy uwagi (ang. attention mechanisms) i architektura Transformer wniosły do systemów rekomendacyjnych możliwość modelowania sekwencyjnych zależności między kolejnymi interakcjami użytkownika w czasie. Model BERT4Rec adaptuje architekturę BERT do problemu sekwencyjnych rekomendacji: dane wejściowe stanowi sekwencja identyfikatorów elementów odtworzonych przez użytkownika, a model uczy się dwukierunkowych kontekstowych reprezentacji przez mechanizm samouwagi (ang. self-attention). Pozwala to na uwzględnienie zarówno krótkoterminowych, jak i długoterminowych wzorców w historii interakcji użytkownika. Architektura SASRec (ang. Self-Attentive Sequential Recommendation) stosuje jednokierunkowe mechanizmy uwagi, co zapewnia efektywniejsze uczenie przy zachowaniu wysokiej trafności predykcji.
Grafowe sieci neuronowe (ang. Graph Neural Networks, GNN) zrewolucjonizowały modelowanie relacji strukturalnych w systemach rekomendacyjnych. Architektura LightGCN modeluje dane o interakcjach użytkownik–element jako dwudzielny graf (ang. bipartite graph), a reprezentacje użytkowników i elementów są propagowane i agregowane wzdłuż krawędzi grafu przez kilka warstw splotowych. Uproszczona względem wcześniejszych GNN-ów architektura eliminuje transformacje cech i nieliniowości wewnątrz warstw splotowych, co prowadzi do redukcji liczby parametrów i poprawy interpretowalności przy zachowaniu wysokiej wydajności predykcyjnej. Model NGCF (ang. Neural Graph Collaborative Filtering) rozszerza to podejście o modyfikację reprezentacji latentnych w procesie propagacji, co pozwala na uchwycenie wzorców wyższego rzędu w strukturze grafu interakcji. Sieci konwolucyjne (CNN) stosowane są z kolei do automatycznej ekstrakcji cech wizualnych z plakatów filmowych i zwiastunów, co umożliwia włączenie informacji audiowizualnej do profilu treściowego elementu.
Analiza kompromisów architektonicznych jest niezbędna przy projektowaniu systemów rekomendacyjnych opartych na głębokim uczeniu. Modele głębsze i bardziej złożone wykazują wyższą zdolność ekspresji, lecz ich koszt obliczeniowy treningu jest znacznie wyższy, interpretacja wyuczonych reprezentacji jest trudniejsza, a zapotrzebowanie na dane treningowe rośnie proporcjonalnie do liczby parametrów. Modele prostsze, takie jak LightGCN, osiągają porównywalną wydajność predykcyjną przy znacznie niższych nakładach obliczeniowych. W zastosowaniach przemysłowych konieczne jest zatem staranne wyważenie między dokładnością predykcji, latencją wnioskowania, kosztem treningu i możliwością wyjaśnienia rekomendacji użytkownikowi — co nabiera szczególnego znaczenia w kontekście regulacji dotyczących przejrzystości algorytmów sztucznej inteligencji.[4, s. 5]
1.5. Problem oceny trafności rekomendacji
Rzetelna ocena jakości systemu rekomendacyjnego stanowi jeden z fundamentalnych problemów badawczych w tej dziedzinie, gdyż żadna pojedyncza metryka nie jest wystarczająca do pełnej, wielowymiarowej charakterystyki jakości rekomendacji z perspektywy użytkownika końcowego i operatora platformy.[15] Dobór właściwych miar ewaluacyjnych jest przy tym silnie powiązany z celem biznesowym i architekturą systemu: systemy estymujące oceny punktowe poddawane są innym miarom niż systemy generujące rankingi elementów, a ewaluacja offline zasadniczo różni się od ewaluacji w środowisku produkcyjnym. W literaturze opisano wyspecjalizowane metryki stosowane w ocenie jakości rekomendacji, takie jak Mean Reciprocal Rank oraz Normalized Discounted Cumulative Gain.[2, s. 24]
Pierwszą kategorię miar jakości stanowią metryki dokładności predykcji ocen (ang. rating prediction metrics). Błąd średniokwadratowy RMSE (ang. Root Mean Square Error) wyraża się wzorem RMSE = √(1/|T| · Σ(u,i)∈T(rui − r̂ui)2), gdzie T oznacza zbiór par użytkownik–element w zbiorze testowym, rui rzeczywistą ocenę, a r̂ui ocenę predykowaną. RMSE penalizuje poważne błędy predykcji silniej niż małe, co sprawia, że jest wrażliwy na oceny odstające. Błąd średni bezwzględny MAE (ang. Mean Absolute Error) mierzy średnią wartość bezwzględną błędu predykcji i cechuje się większą odpornością na wartości ekstremalne. Obie metryki posiadają bezpośrednią interpretację w jednostkach skali ocen, lecz ich wysoka wartość na zbiorze testowym nie zawsze przekłada się na gorszą użyteczność rekomendacji z perspektywy użytkownika.
Drugą, szczególnie istotną w praktycznych systemach rekomendacji filmów, kategorię stanowią metryki jakości rankingu (ang. ranking metrics), oceniające zdolność systemu do umieszczania trafnych elementów na czołowych pozycjach listy rekomendacji. Precision@K mierzy odsetek trafnych elementów wśród K pozycji na wygenerowanej liście rekomendacji. Recall@K mierzy odsetek wszystkich trafnych elementów ze zbioru testowego, które znalazły się wśród K rekomendacji. Miara F1@K stanowi średnią harmoniczną Precision@K i Recall@K, zapewniając równoważenie obu aspektów. Metryka NDCG@K (ang. Normalized Discounted Cumulative Gain) różnicuje rekomendacje według ich pozycji na liście przez logarytmiczne dyskontowanie: trafna rekomendacja na pierwszej pozycji wnosić więcej do wyniku niż ta sama rekomendacja na pozycji piątej czy dziesiątej. Wartość NDCG@K obliczana jest jako stosunek DCG@K do idealnego IDCG@K, co umożliwia porównywalność między różnymi użytkownikami.[2, s. 24] Metryka MAP (ang. Mean Average Precision) uśrednia precyzję obliczaną w każdym punkcie przywołania, a MRR (ang. Mean Reciprocal Rank) mierzy odwrotność pozycji pierwszego trafionego elementu na liście rekomendacji, co czyni ją szczególnie użyteczną w scenariuszach, w których istotna jest jedynie pozycja najwyżej sklasyfikowanego trafnego wyniku.[2, s. 24]
Metodologia ewaluacji offline wymaga starannego zaprojektowania podziału danych. Losowy podział na zbiory treningowy i testowy jest obarczony ryzykiem wycieku informacji z przyszłości (ang. temporal leakage): model może korzystać z późniejszych ocen użytkownika do predykcji wcześniejszych, co zawyża szacowaną jakość systemu. Właściwe podejście polega na chronologicznym podziale danych: oceny wystawione do określonej daty tworzą zbiór treningowy, a oceny późniejsze — zbiór testowy. Protokół leave-one-out evaluation traktuje ostatnią interakcję każdego użytkownika jako element testowy, co jest powszechnie stosowanym standardem w literaturze badawczej dotyczącej systemów rekomendacji filmów. Zbiory walidacyjne służą do strojenia hiperparametrów i powinny być wyodrębnione chronologicznie przed zbiorem testowym.
Poza metrykami trafności, pełna ewaluacja systemu rekomendacyjnego powinna obejmować szereg dodatkowych wymiarów jakości. Różnorodność (ang. diversity), mierzona miarą ILD (ang. Intra-List Diversity) jako średnie wzajemne niepodobieństwo par elementów na liście rekomendacji, odzwierciedla zdolność systemu do prezentowania użytkownikowi zróżnicowanego spektrum propozycji zamiast wielu wariantów tego samego gatunku. Nowość (ang. novelty) ocenia skłonność systemu do rekomendowania elementów mniej popularnych i mniej znanych użytkownikowi, co jest powiązane z zagospodarowaniem efektu długiego ogona — katalogów zawierających tysiące tytułów o niskiej popularności, które bez systemu rekomendacji pozostają nieodkryte. Zaskoczenie (ang. serendipity) łączy nowość z trafnością: rekomendowanie elementów nieoczekiwanych, a zarazem odpowiadających preferencjom użytkownika prowadzi do pozytywnych doświadczeń odkrycia nowych dzieł. Pokrycie katalogu (ang. catalog coverage) mierzy odsetek dostępnych elementów faktycznie pojawiających się w rekomendacjach generowanych dla różnych użytkowników.
Ewaluacja online systemu rekomendacyjnego obejmuje testy A/B — randomizowane eksperymenty porównujące dwie lub więcej wersji systemu na rzeczywistych użytkownikach — oraz technikę przeplatania list rekomendacji (ang. interleaving), która pozwala na bardziej wrażliwe porównanie dwóch systemów przy mniejszej liczbie próbek. Metryki biznesowe obejmują współczynnik klikalności CTR (ang. Click-Through Rate), czas spędzony na platformie, wskaźnik odtworzeń do końca, wskaźnik retencji abonentów oraz przychody ze sprzedaży rekomendowanych tytułów. Należy podkreślić istotną rozbieżność między jakością mierzoną metrykami offline a efektywnością w środowisku produkcyjnym: system osiągający najwyższe NDCG@K na zbiorze testowym nie musi prowadzić do najwyższego CTR w środowisku produkcyjnym, gdyż użytkownicy klikają nie tylko w najdokładniej przewidziane, lecz also w atrakcyjnie zaprezentowane i kontekstowo adekwatne propozycje. Istotnym aspektem ewaluacji jest również pomiar efektu bańki filtrującej (ang. filter bubble effect) oraz sprawiedliwości algorytmicznej (ang. algorithmic fairness) — zapewnienia, że system nie dyskryminuje mniejszości gatunkowych, filmów niezależnych ani mniej popularnych twórców kosztem faworyzowania dominujących produkcji głównego nurtu. Wielowymiarowa ewaluacja systemu, obejmująca zarówno miary trafności, jak i miary różnorodności, nowości i sprawiedliwości, stanowi niezbędny fundament odpowiedzialnego projektowania i wdrażania systemów rekomendacji w środowisku produkcyjnym.[2, s. 24]
- RMSE i MAE — metryki dokładności predykcji ocen punktowych, stosowane w systemach estymacji wartości macierzy interakcji
- Precision@K i Recall@K — metryki jakości rankingu mierzące trafność i pełność list rekomendacji top-K
- NDCG@K — metryka uwzględniająca pozycję trafnych elementów na liście przez logarytmiczne dyskontowanie
- MRR — miara szczególnie użyteczna w scenariuszach wyszukiwania jednego najtrafniejszego elementu
- ILD i coverage — metryki różnorodności i pokrycia katalogu uzupełniające ocenę trafności o wymiar eksploatacji długiego ogona
Rozdział 2: Przegląd metod i rozwiązań stosowanych w systemach rekomendacji filmów
2.1. Ewolucja algorytmów rekomendacyjnych — ujęcie historyczne
Historia algorytmów rekomendacyjnych sięga początku lat dziewięćdziesiątych XX wieku, kiedy to rosnąca liczba użytkowników sieci internetowej oraz szybko powiększające się zasoby cyfrowych treści multimedialnych wymusiły opracowanie zautomatyzowanych metod personalizacji informacji. Pierwsze systemy rekomendacyjne opierały się na prostych mechanizmach filtrowania kolaboratywnego bazujących na pamięci (ang. memory-based collaborative filtering), w których predykcja preferencji aktywnego użytkownika wyznaczana była na podstawie ważonej agregacji ocen wystawionych przez użytkowników podobnych do niego pod względem historii interakcji.[6] Metody te, choć intuicyjne i stosunkowo proste w implementacji, dawały zadowalające wyniki w warunkach gęstych macierzy ocen, lecz ich skuteczność gwałtownie spadała wraz ze wzrostem rzadkości danych — zjawiska charakterystycznego dla rzeczywistych platform filmowych, w których użytkownik typowo ocenia jedynie ułamek procenta dostępnego katalogu.[2, s. 28]
Zasadniczą reprezentacją danych w wczesnorzędnych systemach rekomendacyjnych była macierz ocen (ang. rating matrix), w której wiersze odpowiadały użytkownikom, kolumny elementom katalogu, a wartości poszczególnych komórek wyrażały stopień preferencji użytkownika wobec danego elementu — zarówno w postaci ocen jawnych (ang. explicit feedback), jak wystawiane gwiazdki, jak i ocen niejawnych (ang. implicit feedback), takich jak liczba odtworzeń, czas oglądania czy dodanie tytułu do listy ulubionych.[7] Algorytm oparty na podobieństwie użytkowników (ang. user-based collaborative filtering) wyznaczał K najbliższych sąsiadów aktywnego użytkownika za pomocą miary kosinusowej lub korelacji Pearsona, a następnie obliczał przewidywaną ocenę jako ważoną średnią ocen wystawionych przez tych sąsiadów, przy czym wagi odpowiadały wartościom podobieństwa.[6] Algorytm oparty na podobieństwie elementów (ang. item-based collaborative filtering) stosował analogiczne podejście, lecz miara podobieństwa obliczana była między filmami, a nie między użytkownikami, co prowadziło do modeli stabilniejszych w czasie, gdyż profil elementu zmienia się wolniej niż profil użytkownika.
Przełomowym momentem w historii systemów rekomendacyjnych okazał się konkurs Netflix Prize, ogłoszony w 2006 roku przez platformę Netflix, w którym nagroda miliona dolarów przyznawana była za poprawę jakości algorytmu rekomendacyjnego Cinematch o co najmniej 10% mierzonej wskaźnikiem RMSE na zbiorze testowym.[16] Konkurs ten spopularyzował technikę faktoryzacji macierzy (ang. matrix factorization), a w szczególności metodę rozkładu na wartości osobliwe (ang. Singular Value Decomposition, SVD) i jej warianty regularyzowane, takie jak SVD++ i timeSVD++. Zasadą faktoryzacji macierzy jest dekompozycja rzadkiej macierzy ocen R o wymiarach M×L na iloczyn dwóch macierzy niskowymiarowych: macierzy czynników użytkowników P ∈ ℝM×k oraz macierzy czynników elementów Q ∈ ℝL×k, gdzie k oznacza liczbę ukrytych wymiarów (ang. latent factors), typowo z przedziału od 20 do 200.[2, s. 29] Ocena wystawiana przez użytkownika u elementowi i jest estymowana jako iloczyn skalarny wektorów latentnych: r̂ui = puTqi + bu + bi + μ, gdzie bu i bi są przesunięciami (ang. bias) użytkownika i elementu, a μ jest globalną średnią ocen. Parametry modelu wyznaczane są poprzez minimalizację regularyzowanego błędu kwadratowego na zbiorze znanych ocen za pomocą stochastycznego gradientu zstępującego lub naprzemiennych najmniejszych kwadratów (ang. Alternating Least Squares, ALS).
Nieujemna faktoryzacja macierzy (ang. Non-negative Matrix Factorization, NMF) stanowi wariant metody SVD wymuszający nieujemność współczynników rozkładu, co nadaje reprezentacjom latentnym interpretację addytywną i ułatwia ich interpretację jako przynależności do ukrytych tematów czy kategorii gatunkowych. Metoda faktoryzacji probabilistycznej macierzy (ang. Probabilistic Matrix Factorization, PMF) formułuje problem jako wnioskowanie bayesowskie w modelu generatywnym, co umożliwia naturalne uwzględnienie niepewności pomiarowej i regularyzację poprzez priors rozkładów normalnych. Podejścia bayesowskiej faktoryzacji macierzy (ang. Bayesian Matrix Factorization) rozszerzają to podejście o pełną marginalizację hiperparametrów, eliminując konieczność ich ręcznego strojenia. Ewolucja tych metod doprowadziła do algorytmów łączących faktoryzację macierzy z modelowaniem czasowym, które uwzględniają dynamikę preferencji użytkownika w czasie — preferencje te nie są bowiem statyczne, lecz ewoluują wraz ze zmianą gustów, nastrojów sezonowych i odkrywaniem nowych gatunków filmowych.[17]
Wyparcie metod klasycznej faktoryzacji macierzy przez architektury głębokiego uczenia dokonało się stopniowo w drugiej dekadzie XXI wieku, napędzane dostępnością dużych zbiorów danych treningowych, wzrostem mocy obliczeniowej procesorów graficznych GPU oraz opracowaniem efektywnych algorytmów optymalizacji dla głębokich sieci neuronowych. Sieci neuronowe umożliwiają modelowanie nieliniowych interakcji między czynnikami ukrytymi użytkowników i elementów, co stanowi istotną przewagę nad liniowym iloczynem skalarnym stosowanym w klasycznej faktoryzacji macierzy — w rzeczywistych danych preferencje użytkowników rzadko dają się bowiem opisać liniowymi zależnościami w przestrzeni latentnej.[3]
2.2. Modele neuronowe w filtracji kolaboratywnej
Architektura Neural Collaborative Filtering (NCF), zaproponowana przez He i współpracowników, stanowi jedno z fundamentalnych podejść do zastosowania głębokich sieci neuronowych w filtracji kolaboratywnej i wywarła znaczący wpływ na kierunek badań w tej dziedzinie.[18] NCF zastępuje iloczyn skalarny klasycznej faktoryzacji macierzy wielowarstwowym perceptronem (ang. Multi-Layer Perceptron, MLP), który przetwarza konkatenację wektorów osadzeń (ang. embeddings) użytkownika i elementu, ucząc się arbitralnie złożonych funkcji interakcji między nimi. Architektura NCF składa się z dwóch komponentów: modelu Generalized Matrix Factorization (GMF), realizującego elementowe mnożenie wektorów latentnych, oraz modelu MLP, concatenującego te wektory i przepuszczającego je przez kilka w pełni połączonych warstw z funkcjami aktywacji ReLU. Finalna predykcja oceny uzyskiwana jest przez konkatenację wyjść obu składowych i liniową projekcję, co tworzy architekturę NeuMF. W warunkach dużych zbiorów danych filmowych, takich jak MovieLens 1M, model NeuMF osiąga wyraźną przewagę nad metodami SVD i ItemKNN mierzoną wskaźnikami HR@10 i NDCG@10, co potwierdza zdolność sieci neuronowych do uchwycenia subtelnych wzorców preferencji niewidocznych dla metod liniowych.[2, s. 24]
Model AutoRec, oparty na autokoderze (ang. autoencoder), realizuje rekonstrukcję wektora ocen użytkownika poprzez mapowanie do niskowymiarowej reprezentacji latentnej i z powrotem do oryginalnej przestrzeni wejściowej.[19] Koder sieci uczy się skompresowanej reprezentacji profilu użytkownika, a dekoder odtwarza brakujące oceny wszystkich elementów, co sprawia, że model ten naturalnie wypełnia luki w macierzy interakcji. Wariant AutoRec oparty na elementach (ang. item-based AutoRec, I-AutoRec) przetwarza wektor ocen wystawionych danemu filmowi przez wszystkich użytkowników, co okazuje się typowo skuteczniejsze niż wariant zorientowany na użytkowników (U-AutoRec), gdyż ocena jednego elementu przez wielu użytkowników jest gęstsza niż ocena wielu elementów przez jednego użytkownika. Wprowadzenie nieliniowości poprzez funkcje aktywacji sigmoidalnej lub ReLU w ukrytych warstwach autokodaera umożliwia modelowanie złożonych, nieliniowych zależności między elementami i użytkownikami.
Wariacyjny autokoder do filtracji kolaboratywnej (ang. Variational Autoencoder for Collaborative Filtering, VAECF) rozszerza klasyczne podejście autokodera o ramy probabilistyczne wnioskowania wariacyjnego (ang. variational inference).[20] Koder VAECF mapuje wejściowy wektor interakcji na parametry rozkładu normalnego w przestrzeni latentnej (średnią μ i logarytm wariancji log σ²), z której próbkowany jest wektor latentny przekazywany dekoderowi. Funkcja straty łączy term rekonstrukcji (wielomianowa entropia krzyżowa modelująca niejawne dane zwrotne) z regularyzacją KL-dywergencji, która utrzymuje rozkład przestrzeni latentnej blisko standardowego rozkładu normalnego. VAECF wykazuje szczególnie dobrą skuteczność przy modelowaniu danych niejawnych — gdzie interakcja (np. odtworzenie filmu) jest dostępna, lecz brak interakcji nie oznacza jednoznacznie braku zainteresowania — co odpowiada typowemu scenariuszowi danych z platform streamingowych.
Architektura Wide & Deep Learning, zaproponowana przez zespół Google Play, łączy szeroką liniową część (ang. wide component) realizującą zapamiętywanie (ang. memorization) konkretnych wzorców współwystępowania elementów z głęboką siecią neuronową (ang. deep component) realizującą generalizację (ang. generalization) do nieobserwowanych kombinacji cech.[21] Część szeroka przyjmuje jako wejście surowe i skrzyżowane cechy, podczas gdy część głęboka przetwarza osadzenia wektorowe cech użytkownika i elementu przez kilka w pełni połączonych warstw. Wyjścia obu komponentów łączone są przez warstwę logistyczną do predykcji prawdopodobieństwa interakcji. Architektura ta okazała się szczególnie efektywna w warunkach katalogu filmowego o bardzo dużej liczbie elementów, gdzie konieczne jest jednoczesne skuteczne rozpoznawanie silnych sygnałów popularności i generalizacja do rzadkich, niszowych preferencji użytkownika.[7]
| Model | Typ architektury | Główna zaleta | Główne ograniczenie |
|---|---|---|---|
| SVD / SVD++ | Faktoryzacja macierzy | Efektywność obliczeniowa, skalowalność | Liniowe interakcje, brak cech treściowych |
| NeuMF (NCF) | MLP + GMF | Nieliniowe modelowanie interakcji | Wysoki koszt obliczeniowy treningu |
| AutoRec | Autokoder | Naturalna rekonstrukcja braków | Ograniczona generalizacja do nowych użytkowników |
| VAECF | Wariacyjny autokoder | Modelowanie niepewności, dane niejawne | Złożoność treningu, strojenie β-VAE |
| Wide & Deep | Szeroka + głęboka sieć | Zapamiętywanie i generalizacja jednocześnie | Złożoność inżynierii cech |
Pojawienie się mechanizmów uwagi (ang. attention mechanisms) i architektury Transformer otworzyło nowy rozdział w modelowaniu sekwencyjnych zachowań użytkowników na platformach filmowych. Model BERT4Rec adaptuje architekturę BERT do zadania rekomendacji sekwencyjnej, maskując losowo wybrane elementy historii użytkownika i trenując model na zadaniu ich przewidywania w oparciu o kontekst dwukierunkowy — zarówno elementy wcześniejsze, jak i późniejsze w sekwencji.[22] Model SASRec (ang. Self-Attentive Sequential Recommendation) stosuje jednokierunkową uwagę transformera, co lepiej odpowiada naturalnemu porządkowi chronologicznemu sesji użytkownika. Architektury te przewyższają wcześniejsze podejścia sekwencyjne oparte na rekurencyjnych sieciach neuronowych (LSTM, GRU), gdyż mechanizm uwagi umożliwia bezpośrednie modelowanie zależności między dowolnie odległymi elementami historii, bez problemu znikającego gradientu.[3]
2.3. Metody reprezentacji treści filmowej z wykorzystaniem osadzeń wektorowych
Skuteczna reprezentacja treści filmowej w przestrzeni wektorowej stanowi fundament systemów filtracji opartej na treści i hybrydowych podejść łączących dane o interakcjach z atrybutami elementów. Filmy jako obiekty multimedialne charakteryzują się wyjątkowo bogatą strukturą atrybutów: obok metadanych numerycznych i kategorycznych (rok produkcji, budżet, przychody, kraj produkcji, ocena wiekowa) oraz strukturalnych (gatunek, reżyser, obsada, słowa kluczowe), dostępne są dane tekstowe (opisy, recenzje, synopsy), dane wizualne (plakaty, kadry, zwiastuny) i dane dźwiękowe (muzyka, dialogi).[2, s. 25] Tradycyjne metody reprezentacji tekstowych, takie jak worki słów (ang. bag of words) z wagami TF-IDF, cechują się wysoką wymiarowością, rzadkością reprezentacji i nieuwzględnianiem semantycznej bliskości słów — cechy te ograniczają ich skuteczność w zadaniach rekomendacji, w których kluczowe jest mierzenie podobieństwa semantycznego między opisami filmów.
Algorytm Word2Vec, zaproponowany przez Mikolova i współpracowników w 2013 roku, zrewolucjonizował reprezentację tekstu przez naukę gęstych, niskowymiarowych wektorów słów zachowujących relacje semantyczne.[23] Dwie architektury Word2Vec — CBOW (ang. Continuous Bag of Words) i Skip-gram — trenowane są na dużych korpusach tekstowych tak, by słowa semantycznie podobne trafiały do bliskich sobie regionów przestrzeni wektorowej. Reprezentacja opisu filmowego uzyskiwana jest jako uśredniony wektor słów, który może być następnie użyty jako wejście do modelu mierzącego podobieństwo między filmami lub jako część wektora cech elementu w systemie hybrydowym. Algorytm GloVe (ang. Global Vectors for Word Representation) rozszerza to podejście przez jawną optymalizację celu opartego na globalnych statystykach współwystępowania słów w całym korpusie, co prowadzi do reprezentacji zachowujących zarówno lokalne, jak i globalne wzorce semantyczne.[24]
Modele językowe oparte na architekturze Transformer, takie jak BERT (ang. Bidirectional Encoder Representations from Transformers) i jego późniejsze następniki, umożliwiają generowanie kontekstowych osadzeń wektorowych, w których reprezentacja danego słowa lub zdania zależy od otaczającego go kontekstu, a nie jest stałym wektorem jak w Word2Vec czy GloVe.[25] W zastosowaniu do rekomendacji filmów modele BERT wstępnie trenowane na dużych korpusach (Wikipedia, BookCorpus) mogą być dostrajane (ang. fine-tuned) na zbiorach opisów i recenzji filmowych, co prowadzi do reprezentacji lepiej uchwytujących specyfikę domeny filmowej — subtelne różnice między gatunkami, nastrój narracyjny, tematykę i styl reżyserski. Model SBERT (ang. Sentence-BERT) modyfikuje architekturę BERT tak, by generować zdaniowe reprezentacje wektorowe nadające się bezpośrednio do obliczeń podobieństwa kosinusowego, co jest krytyczne dla efektywnego skalowania do katalogów filmowych liczących dziesiątki tysięcy tytułów.[6]
Reprezentacje grafowe stosowane do modelowania relacji między bytami w domenie filmowej stanowią alternatywę dla płaskich wektorowych reprezentacji atrybutów. Heterogeniczne sieci informacyjne (ang. Heterogeneous Information Networks, HIN) modelują filmy, aktorów, reżyserów, słowa kluczowe i gatunki jako węzły różnych typów, a relacje między nimi (reżyser-film, aktor-film, film-gatunek) jako krawędzie różnych typów.[7] Algorytmy spacerów losowych meta-ścieżkowych (ang. meta-path-based random walks) eksplorują strukturę HIN wzdłuż predefiniowanych schematów relacyjnych, a następnie algorytm Word2Vec trenowany na sekwencjach węzłów z takich spacerów generuje osadzenia wektorowe zachowujące strukturę grafu. Alternatywnym podejściem są grafowe sieci neuronowe (ang. Graph Neural Networks, GNN) propagujące informacje wzdłuż krawędzi grafu, co umożliwia uczenie wielopoziomowych reprezentacji bytów uwzględniających zarówno cechy samych węzłów, jak i strukturę ich sąsiedztwa.
Wielomodalne reprezentacje filmów łączące dane tekstowe, wizualne i strukturalne stanowią jeden z najbardziej aktywnych kierunków badawczych w dziedzinie systemów rekomendacyjnych. Konwolucyjne sieci neuronowe (ang. Convolutional Neural Networks, CNN) wstępnie trenowane na dużych zbiorach danych wizualnych, takich jak ImageNet, mogą być użyte do ekstrakcji osadzeń wektorowych plakatów filmowych, kodujących cechy wizualne takie jak kolorystyka, kompozycja i nastrojowość — atrybuty korelujące z preferencjami gatunkowymi użytkowników.[3] Modele fuzji wielomodalnej łączą reprezentacje tekstowe, wizualne i metadanowe przez konkatenację wektorów, addytywne mechanizmy uwagi lub bilinearne transformacje, ucząc się optymalnych wag poszczególnych modalności w kontekście predykcji preferencji użytkownika. Podejście to pozwala na pełniejsze pokrycie przestrzeni atrybutów filmowych i redukuje problemy związane z brakującymi danymi w pojedynczych modalności.
2.4. Modele hybrydowe i ich przewaga nad metodami jednorodowymi
Podejścia hybrydowe do systemów rekomendacyjnych łączą zalety filtracji kolaboratywnej i filtracji opartej na treści, kompensując wzajemnie ich ograniczenia i osiągając wyższą jakość rekomendacji niż każda z metod zastosowana w izolacji.[2, s. 25] Filtracja kolaboratywna, choć skuteczna dla użytkowników z bogatą historią interakcji, boryka się z problemem zimnego startu — niemożnością wygenerowania wartościowych rekomendacji dla nowych użytkowników lub nowych elementów, o których system nie zgromadził jeszcze wystarczającej liczby ocen. Filtracja oparta na treści z kolei umożliwia rekomendację nowych elementów na podstawie ich atrybutów, lecz cierpi na problem nadmiernej specjalizacji (ang. over-specialization) — tendencji do polecania elementów zbyt podobnych do tych, z którymi użytkownik miał już wcześniej kontakt, co ogranicza różnorodność rekomendacji i uniemożliwia odkrywanie nowych gatunków czy stylów.[2, s. 27]
Taksonomia metod hybrydyzacji systemów rekomendacyjnych wyróżnia kilka podstawowych strategii łączenia składowych. Pierwszą z nich jest łączenie na poziomie wyników (ang. score fusion), w którym wyniki predykcji dwóch lub więcej modeli składowych są łączone liniową interpolacją lub bardziej złożoną funkcją agregacji w celu uzyskania finalnej listy rekomendacji. Wagi interpolacji mogą być stałe, wyznaczone na podstawie walidacji krzyżowej, lub dynamicznie adaptowane do profilu konkretnego użytkownika — na przykład wyższa waga przypisywana jest modelowi kolaboratywnemu dla użytkowników z bogatą historią, podczas gdy dla nowych użytkowników dominuje komponent treściowy.[7] Drugą strategią jest łączenie na poziomie cech (ang. feature-level fusion), w którym cechy atrybutów elementów i cechy latentne uzyskane z faktoryzacji macierzy konkatenowane są w jeden wektor wejściowy dla wspólnego modelu predykcji. Trzecią strategią jest model kaskadowy (ang. cascade model), w którym jeden komponent wstępnie filtruje kandydatów, a drugi dokonuje precyzyjnego rankingu w obrębie wyfiltrowanego podzbioru.
Architektura Deep Hybrid Recommender łączy warstwę osadzeń wektorowych użytkowników i elementów, nauczoną w ramach zadania filtracji kolaboratywnej, z reprezentacjami treściowymi elementów uzyskanymi z modeli języka naturalnego, i przetwarza je łącznie przez wielowarstwową sieć neuronową.[26] Takie podejście umożliwia modelowi uczenie się, w jaki sposób interakcja między preferencjami kolaboratywnymi a atrybutami treściowymi determinuje ostateczną decyzję o rekomendacji. Model DUIF (ang. Deep User and Image Features) łączy cechy wizualne plakatów filmowych z cechami kolaboratywnymi użytkowników, co prowadzi do poprawy jakości rekomendacji szczególnie w scenariuszach zimnego startu dla nowych elementów.[3]
Mechanizmy uwagi (ang. attention mechanisms) znalazły naturalne zastosowanie w modelach hybrydowych jako sposób dynamicznego ważenia znaczenia poszczególnych cech treściowych lub kolaboratywnych w kontekście konkretnego zapytania użytkownik–element. Model Attentive Collaborative Filtering wyznacza oddzielne wagi dla poszczególnych interakcji w historii użytkownika na podstawie ich semantycznej trafności względem bieżącego zapytania, co umożliwia modelowi skupienie się na najbardziej informatywnych sygnałach i ignorowanie szumu.[2, s. 24] Macierze uwagi wyznaczane są jako skalowane iloczyny skalarne między reprezentacją zapytania a wektorami kluczy historycznych interakcji, co jest bezpośrednią analogią do mechanizmów stosowanych w modelach sekwencja-do-sekwencji (ang. sequence-to-sequence). W kontekście hybrydowych systemów rekomendacji filmów uwaga pozwala modelowi dynamicznie dostosowywać względne znaczenie danych kolaboratywnych i treściowych do indywidualnego profilu użytkownika, zamiast stosować jednakowe stałe wagi dla wszystkich użytkowników.[6]
Porównanie wydajności modeli jednorodowych i hybrydowych w badaniach eksperymentalnych przeprowadzonych na zbiorze MovieLens 1M konsekwentnie potwierdza przewagę podejść hybrydowych nad metodami jednorodowymi, przy czym poprawa jest szczególnie wyraźna w scenariuszach zimnego startu i dla użytkowników z ograniczoną historią interakcji.[27] Modele hybrydowe wykazują typowo o 5–15% wyższe wartości wskaźników NDCG@10 i HR@10 w porównaniu z najlepszym modelem jednorodowym, przy jednoczesnym zachowaniu wyższej różnorodności rekomendacji mierzonej wskaźnikiem ILD. Istotną zaletą podejść hybrydowych jest również ich większa odporność na problemy jakości danych — jeśli dane kolaboratywne są zaszumione lub rzadkie, komponent treściowy stabilizuje predykcje, zapobiegając drastycznemu pogorszeniu jakości rekomendacji.
2.5. Analiza porównawcza wybranych systemów rekomendacyjnych stosowanych komercyjnie
Komercyjne systemy rekomendacyjne największych platform wideo na żądanie stanowią najbardziej zaawansowane i największe skalą wdrożenia algorytmów rekomendacyjnych, operujące na bazach użytkowników liczących setki milionów kont i katalogach obejmujących dziesiątki tysięcy tytułów. Analiza publicznie dostępnych opisów tych systemów — publikowanych przez zespoły inżynierskie platform w formie artykułów naukowych i dokumentacji technicznych — pozwala zidentyfikować wspólne trendy architektoniczne i strategie adresowania wyzwań specyficznych dla domeny filmowej.[2, s. 24]
System rekomendacyjny platformy Netflix ewoluował od prostego algorytmu Cinematch opartego na korelacjach Pearsona, przez modele faktoryzacji macierzy rozwinięte podczas konkursu Netflix Prize, aż po współczesną architekturę wielowarstwową obejmującą wyspecjalizowane modele dla różnych kontekstów rekomendacji.[28] Netflix stosuje podejście hybrydowe, w którym dane kolaboratywne z globalnej bazy użytkowników łączone są z modelami treściowymi analizującymi takie atrybuty jak gatunek, kraj produkcji, obsadę, reżysera, styl wizualny i nastrój narracyjny. Istotnym elementem systemu jest kontekstualizacja rekomendacji — system uwzględnia kontekst czasowy (dzień tygodnia, pora dnia), kontekst urządzenia (telewizor w salonie kontra smartfon podczas podróży) oraz kontekst sesji (czy użytkownik szuka tytułu do aktywnego oglądania, czy przegląda katalog eksploracyjnie). System Netflix operuje też na poziomie strony głównej, generując wielokrotne rzędy rekomendacji tematycznych — każdy rząd ma własną logikę wyboru i rankingu, a globalny ranking rzędów i ich tytułów jest wyznaczany przez osobny model optymalizacji strony.[6]
System rekomendacyjny Amazon Prime Video i powiązany system Amazon.com oparty jest na metodzie filtracji kolaboratywnej opartej na elementach (ang. item-based collaborative filtering) uzupełnionej o zaawansowane mechanizmy przetwarzania cech treściowych i danych behawioralnych.[29] Algorytm item-to-item stosowany przez Amazon analizuje historię zakupów i przeglądania wszystkich użytkowników, budując macierz podobieństwa między elementami, a następnie dla aktywnego użytkownika generuje rekomendacje jako zbiór elementów podobnych do tych, z którymi użytkownik wchodził w interakcje w przeszłości. Kluczową zaletą tego podejścia jest efektywność obliczeniowa: macierz podobieństwa między elementami może być wstępnie obliczona offline i aktualizowana inkrementalnie, co pozwala na generowanie rekomendacji w czasie rzeczywistym bez konieczności przetwarzania pełnej macierzy ocen przy każdym zapytaniu.[7] System Amazon implementuje ponadto mechanizmy dywersyfikacji rekomendacji, zapobiegające prezentowaniu zbyt podobnych do siebie tytułów na jednej liście, oraz mechanizmy re-rankingu uwzględniające czynniki biznesowe, takie jak marże, dostępność w abonamencie Prime czy poziom zapasów w przypadku produktów fizycznych.
Polskie i środkowoeuropejskie platformy filmowe, takie jak serwis Filmweb.pl, stosują uproszczone warianty metod hybrydowych, uwzględniające specyfikę regionalną — relatywnie mniejsze bazy użytkowników w porównaniu z globalnymi platformami powodują, że dane kolaboratywne są rzadsze, co zwiększa znaczenie komponentu treściowego i podejść opartych na wiedzy dziedzinowej.[30] Serwisy te często posiłkują się zewnętrznymi źródłami metadanych filmowych, takimi jak baza IMDb lub TMDb (ang. The Movie Database), wzbogacając własne dane o atrybuty trudne do pozyskania samodzielnie: oceny krytyków, nagrody filmowe, klasyfikacje gatunkowe zgodne z międzynarodowymi standardami branżowymi. Problem zimnego startu dla nowych filmów adresowany jest przez mechanizmy rekomendacji opartych na popularności — nowe tytuły promowane są na podstawie cech treściowych porównywanych z profilem preferencji użytkownika, bez oczekiwania na zgromadzenie wystarczającej liczby ocen kolaboratywnych.[2, s. 27]
Analiza porównawcza komercyjnych systemów rekomendacyjnych wskazuje na kilka wspólnych tendencji. Po pierwsze, wszystkie wiodące platformy stosują wielopoziomowe (ang. multi-stage) podejście do rekomendacji, w którym etap wstępnego filtrowania (ang. candidate generation) generuje duży zbiór potencjalnych kandydatów przy niskich kosztach obliczeniowych, a następnie etap rankingu (ang. re-ranking) precyzyjnie porządkuje kandydatów przy użyciu bardziej złożonych i kosztownych modeli. Po drugie, komercyjne systemy intensywnie korzystają z danych behawioralnych — wzorców klikania, czasu odtwarzania, momentu porzucenia seansu — jako uzupełnienia lub zastępstwa dla rzadkich ocen jawnych.[7] Po trzecie, poza optymalizacją miar trafności w krótkim horyzoncie (CTR, wskaźnik odtworzeń) nowoczesne systemy uwzględniają długoterminowe cele biznesowe, takie jak retencja abonentów i ich satysfakcja, co wymaga równoważenia eksploracji — prezentowania nowych, nieznanych gatunków — z eksploatacją — polecaniem sprawdzonych preferencji użytkownika.[2, s. 24] Dynamiczny krajobraz komercyjnych systemów rekomendacyjnych stanowi zatem zarówno źródło inspiracji, jak i benchmark dla badań prowadzonych w środowisku akademickim nad nowymi architekturami hybrydowego głębokiego uczenia.
- Netflix — wielowarstwowa architektura hybrydowa z kontekstualizacją czasową i urządzeniową; generowanie wielotematycznych rzędów rekomendacji
- Amazon Prime Video — item-to-item filtracja kolaboratywna z wstępnie obliczaną macierzą podobieństwa; dywersyfikacja i re-ranking z czynnikami biznesowymi
- Filmweb.pl — podejście hybrydowe uwzględniające specyfikę regionalną; wzbogacanie o zewnętrzne metadane z IMDb/TMDb; promocja popularności dla nowych tytułów
- Wspólne trendy — wieloetapowe (candidate generation + re-ranking), dane behawioralne niejawne, równoważenie eksploracji i eksploatacji, optymalizacja długoterminowych celów retencji
Rozdział 3: Projekt i implementacja hybrydowego systemu rekomendacji
3.1. Architektura proponowanego systemu
Projektowanie hybrydowego systemu rekomendacji filmów wymaga starannego zaplanowania architektury umożliwiającej efektywne połączenie komponentu filtracji kolaboratywnej z komponentem opartym na treści w ramach spójnego, skalowalnego rozwiązania. Proponowana architektura opiera się na modularnej strukturze czterech głównych komponentów: modułu przetwarzania danych wejściowych, modułu filtracji kolaboratywnej realizowanego metodami głębokiego uczenia, modułu opartego na treści z zastosowaniem wielowymiarowych osadzeń wektorowych oraz warstwy agregacji wyników odpowiedzialnej za wyznaczanie ostatecznego rankingu rekomendacji. Podejście modularne zapewnia nie tylko przejrzystość architektury, lecz również możliwość niezależnego rozwijania i optymalizowania poszczególnych komponentów bez konieczności modyfikowania pozostałych części systemu.[8] Każdy moduł komunikuje się z pozostałymi za pośrednictwem ściśle zdefiniowanych interfejsów wymiany danych, co umożliwia zastąpienie dowolnego komponentu nowszą implementacją bez naruszania integralności całego systemu.
Moduł przetwarzania danych wejściowych pełni rolę centralnego punktu integracji danych pochodzących z różnorodnych źródeł: bazy ocen użytkowników, metadanych filmowych oraz danych behawioralnych rejestrujących wzorce przeglądania katalogu. Na tym etapie wykonywane są operacje normalizacji ocen, filtrowania elementów o zbyt małej liczbie interakcji, uzupełniania brakujących wartości metadanych oraz wyznaczania macierzy użytkownik–element stanowiącej podstawę dla komponentu kolaboratywnego. Przetwarzanie odbywa się zarówno w trybie wsadowym — dla codziennego ponownego trenowania modeli — jak i w trybie strumieniowym, umożliwiającym aktualizację profilu użytkownika w czasie rzeczywistym na podstawie nowych interakcji.[7] Dane wejściowe dzielone są na trzy rozłączne podzbiory — treningowy, walidacyjny i testowy — według protokołu leave-one-out, w którym dla każdego użytkownika ostatnia chronologicznie zarejestrowana ocena stanowi element zbioru testowego, a przedostatnia — element zbioru walidacyjnego.
Moduł filtracji kolaboratywnej przyjmuje na wejściu zidentyfikowane osadzenia wektorowe użytkowników i elementów oraz generuje na wyjściu wektor prognozowanych ocen dla pary użytkownik–element. Architektura wewnętrzna tego modułu opiera się na wielowarstwowej sieci neuronowej, której szczegółowy opis przedstawiony jest w podrozdziale 3.3. Moduł oparty na treści przyjmuje na wejściu wektory cech filmów wyznaczone na podstawie metadanych oraz profil preferencji aktywnego użytkownika, a na wyjściu generuje ocenę podobieństwa semantycznego między profilem użytkownika a cechami każdego elementu katalogu.[2, s. 24] Oba moduły działają równolegle, co minimalizuje całkowity czas generowania listy rekomendacji i umożliwia efektywne wykorzystanie zasobów obliczeniowych serwera aplikacyjnego.
Warstwa agregacji wyników odbiera sygnały punktacji z obu modułów i łączy je w jedną globalną ocenę przy zastosowaniu mechanizmu ważonego łączenia punktacji. Wagi przypisane poszczególnym komponentom nie są stałe — są uczone na podstawie danych historycznych z zastosowaniem podejścia meta-uczenia, w którym model wyższego poziomu uczy się, kiedy i w jakim stopniu należy ufać każdemu z komponentów składowych. Dla użytkowników z bogatą historią interakcji waga przypisywana komponentowi kolaboratywnemu jest wyższa, natomiast dla nowych użytkowników z ograniczoną historią wyższy priorytet uzyskuje komponent oparty na treści, skutecznie łagodząc problem zimnego startu.[2, s. 25] Ostateczna lista rekomendacji jest dodatkowo poddawana procedurom dywersyfikacji i re-rankingu, zapewniającym odpowiednią różnorodność prezentowanych tytułów.
- Moduł przetwarzania danych — normalizacja ocen, podział na podzbiory treningowe i testowe, obsługa trybu wsadowego i strumieniowego
- Moduł filtracji kolaboratywnej — wielowarstwowa sieć neuronowa z warstwami osadzeń użytkowników i elementów, realizująca nieliniowe wzorce interakcji
- Moduł oparty na treści — reprezentacja wektorowa cech filmów, model podobieństwa semantycznego, dynamiczne generowanie profilu preferencji użytkownika
- Warstwa agregacji — adaptacyjne ważone łączenie punktacji z uczeniem się wag na podstawie profilu użytkownika, dywersyfikacja i re-ranking wyników końcowych
3.2. Charakterystyka zbiorów danych i etap przygotowania danych
Podstawowym zbiorem danych wykorzystanym w badaniach jest MovieLens 25M — jeden z najszerzej stosowanych wzorcowych zbiorów danych w literaturze systemów rekomendacyjnych, udostępniany przez GroupLens Research przy Uniwersytecie Minnesoty. Zbiór ten zawiera ponad 25 milionów jawnych ocen wystawionych przez przeszło 162 tysiące użytkowników dla blisko 62 tysięcy filmów, przy czym oceny wyrażone są na skali od 0,5 do 5,0 z krokiem co 0,5 punktu. Każda ocena opatrzona jest znacznikiem czasu, co umożliwia analizę dynamiki preferencji w czasie i konstruowanie metod ewaluacji uwzględniających chronologię interakcji.[31] Uzupełniająco zastosowany został zbiór metadanych filmowych pozyskany z publicznie dostępnych danych TMDb oraz IMDb, obejmujący dla każdego tytułu takie atrybuty, jak: gatunki filmowe, kraj produkcji, rok premiery, lista reżyserów, obsada, opis fabuły i słowa kluczowe.
Macierz ocen użytkownik–element wyznaczona na podstawie zbioru MovieLens 25M charakteryzuje się bardzo wysokim stopniem rzadkości — gęstość macierzy wynosi poniżej 0,3%, co oznacza, że zdecydowana większość możliwych kombinacji użytkownik–element nie ma przypisanej jawnej oceny.[7] Tak wysoki stopień rzadkości stanowi jedno z głównych wyzwań w procesie trenowania modeli filtracji kolaboratywnej, ponieważ modele mogą nie dysponować wystarczającą liczbą sygnałów do uczenia jakościowych reprezentacji latentnych dla elementów z niewielką liczbą ocen. W celu ograniczenia tego problemu zastosowany został filtr minimalnych interakcji: do zbioru treningowego włączono wyłącznie użytkowników, którzy wystawili co najmniej 20 ocen, oraz filmy, które zebrały co najmniej 5 ocen — redukcja ta pozwala skoncentrować zasoby obliczeniowe na przypadkach, dla których dostępna jest wystarczająca liczba sygnałów uczących, bez nadmiernego zawężania zakresu katalogu.
Etap przygotowania danych obejmował kilka kolejnych operacji przetwarzania realizowanych w zautomatyzowanym potoku. Pierwszym krokiem było przyłączenie metadanych filmowych do macierzy ocen na podstawie identyfikatora tytułu, z obsługą przypadków brakujących atrybutów przez podstawianie wartości modalnych dla zmiennych kategorycznych, takich jak gatunek, lub wartości zerowych dla atrybutów numerycznych. Następnie przeprowadzone zostało oczyszczanie danych tekstowych opisów fabuły, obejmujące usuwanie znaków specjalnych, normalizację wielkości liter i lematyzację tokenów z zastosowaniem biblioteki spaCy.[8] Wartości ocen zostały znormalizowane do przedziału [0, 1] metodą skalowania min-max, co ułatwia optymalizację modeli neuronowych stosujących aktywacje sigmoidalne na wyjściach. Identyfikatory użytkowników i filmów zostały przekształcone na gęste numeryczne indeksy wykorzystywane przez warstwy osadzeń wektorowych sieci neuronowej.
Podział danych na podzbiory treningowy, walidacyjny i testowy przeprowadzony został z zachowaniem porządku chronologicznego, co jest konieczne dla zachowania realistyczności scenariusza ewaluacyjnego — model może korzystać wyłącznie z informacji dostępnych w momencie generowania rekomendacji i nie może opierać się na danych przyszłych.[2, s. 26] Zastosowano protokół leave-one-out: dla każdego użytkownika ostatnia chronologicznie zarejestrowana ocena trafia do zbioru testowego, przedostatnia — do zbioru walidacyjnego, a wszystkie wcześniejsze oceny — do zbioru treningowego. Dla zapewnienia efektywności ewaluacji każda pozycja testowa oceniana jest w ramach próbki 99 losowo wybranych elementów, z którymi użytkownik nie interagował — zgodnie z powszechnie stosowanym protokołem oceny w badaniach nad systemami rekomendacyjnymi opisanym w literaturze.[7]
| Właściwość | MovieLens 25M | Metadane TMDb/IMDb |
|---|---|---|
| Liczba użytkowników (po filtrze) | ~162 000 | — |
| Liczba filmów (po filtrze) | ~62 000 | ~62 000 |
| Liczba ocen | 25 000 095 | — |
| Gęstość macierzy ocen | <0,3% | — |
| Skala ocen | 0,5–5,0 (co 0,5 punktu) | — |
| Atrybuty tekstowe | tagi użytkowników | fabuła, słowa kluczowe |
| Atrybuty kategoryczne | — | gatunek, kraj, obsada, reżyser |
| Zakres czasowy ocen | 1995–2019 | od początku historii kina |
3.3. Budowa modelu filtracji kolaboratywnej opartego na głębokim uczeniu
Model filtracji kolaboratywnej zaimplementowany w ramach niniejszej pracy oparty jest na architekturze Neural Collaborative Filtering (NCF), zaproponowanej jako odpowiedź na ograniczenia klasycznych metod faktoryzacji macierzy polegające na założeniu liniowości interakcji między reprezentacjami latенtnymi użytkownika i elementu.[32] Architektura NCF zastępuje liniowy iloczyn skalarny reprezentacji latentnych wielowarstwową siecią neuronową, zdolną do uczenia się złożonych, nieliniowych wzorców interakcji między preferencjami użytkowników a cechami filmów. Sieć przyjmuje na wejściu identyfikatory użytkownika i elementu, które są transformowane do gęstych reprezentacji wektorowych przez warstwy osadzeń, a następnie przetwarzane przez szereg warstw w pełni połączonych zakończonych wyjściem predykcyjnym. Podejście to umożliwia modelowi uczenie się takich wzorców preferencji, których nie da się wyrazić za pomocą zwykłego iloczynu skalarnego wektorów latentnych.
Warstwy osadzeń wektorowych stanowią kluczowy komponent architektury NCF. Dla każdego użytkownika i każdego elementu zdefiniowane są dwa odrębne wektory osadzeń: jeden stosowany w ścieżce uogólnionej faktoryzacji macierzy (GMF), realizującej operację iloczynu element po elemencie, oraz drugi stosowany w ścieżce wielowarstwowej sieci neuronowej (MLP), realizującej przetwarzanie przez stos warstw gęstych. Wymiarowość przestrzeni osadzeń, będąca jednym z kluczowych hiperparametrów modelu, determinuje zdolność reprezentacji do kodowania złożoności preferencji — zbyt mała wymiarowość ogranicza ekspresywność modelu, natomiast zbyt duża prowadzi do przeuczenia przy ograniczonej liczbie danych treningowych.[2, s. 27] W przeprowadzonych eksperymentach analizowany był zakres wymiarowości osadzeń od 16 do 256 wymiarów dla ścieżki GMF i od 32 do 512 dla ścieżki MLP, a ostateczny dobór dokonany został na podstawie miar jakości wyznaczanych na zbiorze walidacyjnym.
Ścieżka GMF realizuje iloczyn element po elemencie wektora osadzenia użytkownika i wektora osadzenia elementu, co odpowiada standardowej faktoryzacji macierzy wyrażonej w terminach uczenia głębokiego. Wynik tego iloczynu jest następnie przekształcany przez pojedynczą warstwę liniową z aktywacją sigmoidalną, generującą prognozowaną ocenę. Ścieżka MLP łączy osadzenia użytkownika i elementu przez konkatenację i przekazuje wynikowy wektor przez stos warstw w pełni połączonych z funkcjami aktywacji ReLU, przy czym wymiarowość kolejnych warstw zmniejsza się o połowę względem poprzedniej — zgodnie ze strategią stopniowej redukcji: 512→256→128→64.[7] Między każdą parą warstw zastosowana jest technika porzucania neuronów z prawdopodobieństwem porzucenia równym 0,2, stanowiąca formę regularyzacji zapobiegającej przeuczeniu i poprawiającej zdolność generalizacji na niewidzianych danych. Wyjścia obu ścieżek są konkatenowane i przekazywane przez końcową warstwę wyjściową z aktywacją sigmoidalną, generującą końcową prognozowaną ocenę w przedziale [0, 1].
Jako funkcja straty zastosowana jest binarna krzyżowa entropia, co wymaga sformułowania zadania uczenia jako problemu klasyfikacji dwuklasowej: pozytywne przykłady stanowią pary użytkownik–element, dla których zarejestrowana ocena przekracza wartość progową 3,5 (traktowane jako wyrażenie preferencji), natomiast przykłady negatywne generowane są przez losowe próbkowanie par bez zaobserwowanej interakcji — technikę tę określa się mianem negatywnego próbkowania.[8] Optymalizator Adam z tempem uczenia 0,001 zastosowany jest do aktualizacji wszystkich parametrów sieci, włącznie z wagami warstw osadzeń. Model trenowany jest przez maksymalnie 50 epok z wczesnym zatrzymywaniem na podstawie wartości wskaźnika NDCG@10 wyznaczanego na zbiorze walidacyjnym, przy czym trening przerywany jest po pięciu kolejnych epokach bez poprawy tego wskaźnika, co zapobiega marnowaniu zasobów obliczeniowych na epoki bez realnej poprawy jakości modelu.
Optymalizacja hiperparametrów przeprowadzona jest metodą losowego przeszukiwania przestrzeni hiperparametrów, obejmującą wymiarowość warstw osadzeń, liczbę warstw MLP, wartości prawdopodobieństwa porzucania neuronów, tempo uczenia oraz rozmiar porcji danych. Do regularyzacji zastosowana jest ponadto regularyzacja L2 na wagach warstwy osadzeń, co zapobiega nadmiernemu wzrostowi norm wektorów i poprawia generalizację modelu na zbiorze testowym.[33] Wagi modelu inicjalizowane są metodą inicjalizacji He, dostosowaną do warstw z aktywacją ReLU, co zapewnia zbieżność optymalizacji nawet w głębokich architekturach wielowarstwowych. Ostateczna architektura modelu kolaboratywnego, wybrana na podstawie wydajności na zbiorze walidacyjnym, stosuje wymiarowość osadzeń 64 dla ścieżki GMF i 128 dla ścieżki MLP, z czterowarstwową ścieżką MLP o malejącej liczbie neuronów na kolejnych poziomach.
3.4. Budowa modelu opartego na treści z zastosowaniem osadzeń wektorowych
Model oparty na treści realizuje filtrowanie filmów na podstawie semantycznego podobieństwa między wielowymiarowymi reprezentacjami wektorowymi atrybutów filmowych a profilem preferencji użytkownika zbudowanym z reprezentacji filmów, z którymi użytkownik wchodził w pozytywne interakcje. Reprezentacja wektorowa każdego filmu jest wyznaczana przez konkatenację kilku odrębnych typów osadzeń odpowiadających różnym kategoriom cech: osadzeń gatunkowych, osadzeń semantycznych opisu fabuły, osadzeń grafowych twórców filmowych (reżyserów i aktorów) oraz numerycznej reprezentacji atrybutów kontekstowych, takich jak rok produkcji i popularność.[2, s. 26] Architektura modelu opartego na treści jest w ten sposób wielomodalna — łączy informacje różnych typów i granularności w jedną ujednoliconą reprezentację elementu, co pozwala na uchwycenie komplementarnych aspektów tożsamości filmowej niedostępnych dla żadnego z osobnych komponentów.
Osadzenia wektorowe opisów fabularnych filmów wyznaczane są przy zastosowaniu wstępnie trenowanego modelu językowego BERT, którego architektura oparta na wielogłowicowym mechanizmie uwagi umożliwia kontekstualne kodowanie semantyki każdego słowa w zależności od otaczającego je kontekstu zdaniowego. Każdy opis fabuły przetwarzany jest przez BERT, a jako reprezentacja wektorowa dokumentu przyjmowany jest wektor odpowiadający specjalnemu tokenowi [CLS] z ostatniej warstwy kodującej modelu, mający wymiarowość 768.[34] Model BERT posiada zdolność do kodowania złożonych relacji semantycznych między słowami i zdaniami, co przekłada się na jakościowo lepsze reprezentacje opisów fabularnych w porównaniu z podejściami opartymi na zliczaniu słów lub prostych osadzeniach słów. W przypadku filmów pozbawionych opisów fabularnych stosowane jest zastąpienie przez uśredniony wektor reprezentacji opisów filmów z tego samego gatunku, co zapewnia ciągłość przestrzeni cech i zapobiega powstawaniu wartości brakujących w reprezentacjach elementów.
Atrybuty kategoryczne filmów — gatunki, kraj produkcji i dekada premiery — są reprezentowane przez kombinację kodowania binarnego i uczonych osadzeń wektorowych niskiej wymiarowości. Gatunek filmowy stanowi szczególnie istotną cechę w systemie rekomendacji filmów: jeden film może należeć jednocześnie do kilku gatunków, dlatego jego reprezentacja gatunkowa wyznaczana jest jako uśredniony wektor osadzeń wszystkich przypisanych gatunków, co zapewnia spójną wymiarowość wektora niezależnie od liczby gatunków.[2, s. 25] Reprezentacje twórców filmowych — reżyserów i aktorów z obsady — wyznaczane są metodami analogicznymi do Word2Vec: traktując historię filmografii jako sekwencję dokumentów, w których poszczególni twórcy są tokenami, algorytm wyznacza osadzenia wektorowe takie, że twórcy o podobnych wzorcach współpracy przy projektach filmowych otrzymują zbliżone reprezentacje wektorowe. To podejście, znane w literaturze jako Item2Vec, jest uogólnieniem metody Word2Vec na domeny inne niż przetwarzanie języka naturalnego.[35]
Profil preferencji użytkownika w module opartym na treści jest budowany jako ważona suma reprezentacji wektorowych filmów, z którymi użytkownik wchodził w pozytywne interakcje — ważona, ponieważ wyżej oceniane filmy uzyskują większy udział w profilu użytkownika.[8] Profil ten jest aktualizowany inkrementalnie wraz z każdą nową interakcją użytkownika, co pozwala na dynamiczne dostosowywanie rekomendacji do zmieniających się preferencji bez konieczności ponownego pełnego trenowania modelu. Dla użytkowników nowych, niemających żadnej historii interakcji, profil jest inicjalizowany na podstawie preferencji gatunkowych wyrażonych podczas rejestracji lub wyznaczanych na podstawie demograficznych podobieństw do innych użytkowników o znanych preferencjach. Podobieństwo między profilem użytkownika a reprezentacją każdego elementu katalogu mierzone jest kosinusem kąta między odpowiednimi wektorami, co jest miarą znormalizowaną względem długości wektorów i odporną na różnice w normach wynikające z nierównej liczby filmów tworzących profil różnych użytkowników.[2, s. 26]
Wielowymiarowe osadzenia wektorowe reprezentacji filmów uczone są łącznie z całym systemem w ramach etapu trenowania modelu hybrydowego, co pozwala na optymalizację reprezentacji treściowych pod kątem zadania predykcji preferencji użytkownika, a nie wyłącznie pod kątem minimalizacji błędu rekonstrukcji metadanych. Warstwa projekcji liniowej redukuje wymiarowość połączonego wektora cech filmowych — który po konkatenacji wszystkich typów osadzeń może liczyć ponad tysiąc wymiarów — do zunifikowanej przestrzeni latentnej o wymiarowości 256, wspólnej z przestrzenią reprezentacji modułu kolaboratywnego.[7] Taka unifikacja przestrzeni reprezentacji jest niezbędna dla poprawnego działania warstwy agregacji wyników, która łączy sygnały z obu modułów w jedną spójną ocenę. Równoległe uczenie obu komponentów w ramach jednej procedury optymalizacji umożliwia ponadto wzajemne regulowanie reprezentacji kolaboratywnych i treściowych w kierunku ich maksymalnej komplementarności, a nie tylko niezależnej trafności.
3.5. Integracja modeli i warstwa agregacji wyników
Integracja modułu filtracji kolaboratywnej z modułem opartym na treści stanowi kluczowy etap budowy hybrydowego systemu rekomendacji i determinuje jego ostateczną skuteczność w scenariuszach praktycznych. Zastosowaną strategią integracji jest ważone łączenie punktacji na poziomie wyników, w którym ostateczna ocena pary użytkownik–element wyznaczana jest jako kombinacja liniowa prognozowanych ocen z obu modułów składowych, ważona parą parametrów λCF i λCB spełniających warunek λCF + λCB = 1.[2, s. 24] Strategia ta jest preferowana nad integracją na poziomie cech ze względu na możliwość niezależnego trenowania i walidowania modułów składowych, co upraszcza diagnozowanie przyczyn ewentualnych błędów i umożliwia stosowanie różnych procedur optymalizacji hiperparametrów dla każdego modułu. Architektura warstwy agregacji jest w ten sposób elastyczna i może być rozszerzona o dodatkowe moduły składowe bez konieczności przeprojektowania całego systemu.
Wartości wag λCF i λCB nie są stałe, lecz wyznaczane przez odrębny model uczący się dynamicznego ważenia modułów składowych na podstawie charakterystyk profilu użytkownika. Model wag przyjmuje na wejściu cechy opisujące użytkownika — liczbę wcześniejszych interakcji, entropię gatunkową historii ocen i czas aktywności w systemie — i generuje na wyjściu parę wag za pomocą warstwy softmax, co gwarantuje ich nieujemność i sumowanie do jedności.[8] Dla użytkowników z długą historią interakcji, charakteryzujących się stabilnymi i dobrze zdefiniowanymi preferencjami, model wag typowo przypisuje wyższy priorytet modułowi kolaboratywnemu, podczas gdy dla nowych użytkowników z ograniczoną historią wyższy priorytet uzyskuje moduł oparty na treści. Dzięki temu adaptacyjnemu mechanizmowi system skutecznie radzi sobie z różnorodnością profili użytkowników w obrębie jednej zunifikowanej architektury, bez konieczności ręcznego doboru wag dla poszczególnych segmentów użytkowników.
Środowisko implementacyjne systemu opiera się na ekosystemie bibliotek języka Python, z których najważniejsze to TensorFlow w wersji 2.12 z interfejsem Keras dla implementacji architektur sieci neuronowych, biblioteka Pandas dla wczytywania i przetwarzania danych tabelarycznych, a także biblioteka Scikit-learn dla procedur ewaluacyjnych, normalizacji danych i losowego przeszukiwania przestrzeni hiperparametrów.[8] Implementacja modeli osadzeń wektorowych tekstów opiera się na bibliotece Hugging Face Transformers, która udostępnia wstępnie trenowane wagi modeli językowych oraz interfejs pozwalający na efektywne przetwarzanie wsadowe tekstów fabularnych. Obliczenia numeryczne na gęstych wektorach osadzeń realizowane są z wykorzystaniem biblioteki NumPy, natomiast operacje na rzadkich macierzach ocen — z zastosowaniem biblioteki SciPy w formacie skompresowanego wiersza rzadkiego, zapewniającym efektywne przechowywanie i operacje liniowe na macierzach o wysokim stopniu rzadkości bez zbędnego zużycia pamięci operacyjnej.
Trenowanie modeli realizowane jest na sprzęcie wyposażonym w jednostkę graficzną z szesnastu gigabajtami pamięci VRAM, co pozwala na efektywne przetwarzanie wsadowe dużych macierzy osadzeń bez konieczności dzielenia przeliczeń na wiele mniejszych porcji. Rozmiar porcji danych ustawiony jest na 2048 przykładów treningowych, co stanowi kompromis między stabilnością gradientu a efektywnością obliczeniową — mniejsze porcje zapewniają bardziej zaszumione oszacowanie gradientu, co może poprawiać generalizację, lecz wydłużają czas trenowania.[7] Cały potok trenowania, ewaluacji i eksportu modeli do formatu wdrożeniowego jest zautomatyzowany i parametryzowany za pomocą pliku konfiguracyjnego w formacie YAML, co umożliwia pełną powtarzalność eksperymentów i sprawne porównywanie wyników przy różnych konfiguracjach. Wyniki każdej sesji trenowania — wartości funkcji straty, miary jakości na zbiorze walidacyjnym i testowym oraz czasy trwania poszczególnych etapów — rejestrowane są w systemie śledzenia eksperymentów MLflow, zapewniającym pełną odtwarzalność wyników.
Warstwa agregacji wyników, po wyznaczeniu połączonej oceny dla każdej pary użytkownik–element z katalogu, realizuje dodatkowe operacje postprzetwarzania mające na celu poprawę subiektywnej jakości rekomendacji z perspektywy użytkownika końcowego. Procedura dywersyfikacji opiera się na algorytmie maksymalnej granularnej trafności (ang. Maximal Marginal Relevance), który iteracyjnie wybiera do finalnej listy elementy o najwyższej ocenie przy jednoczesnym penalizowaniu zbyt dużego podobieństwa do elementów już wybranych — mechanizm ten zapobiega prezentowaniu serii niemal identycznych tematycznie tytułów.[36] Procedura wykluczenia eliminuje z listy rekomendacji filmy, które użytkownik już ocenił lub jawnie odrzucił. Wynikowa lista rekomendacji, zawierająca domyślnie dwadzieścia pozycji, jest przekazywana do interfejsu użytkownika wraz z metadanymi filmów i opcjonalnie z wyjaśnieniem rekomendacji wskazującym, czy dany tytuł pochodzi przede wszystkim ze ścieżki kolaboratywnej, czy ze ścieżki treściowej, co poprawia percepcję transparentności systemu i buduje zaufanie użytkownika do prezentowanych sugestii.[2, s. 24]
Rozdział 4: Ewaluacja systemu i analiza wyników
Rzetelna ocena jakości systemu rekomendacji stanowi jeden z najtrudniejszych etapów procesu badawczego, wymagającego precyzyjnego doboru metodologii ewaluacyjnej, miar jakości oraz punktów odniesienia umożliwiających interpretację uzyskanych rezultatów. W odróżnieniu od klasycznych zadań klasyfikacji binarnej lub regresji, systemy rekomendacji są oceniane z perspektywy wielowymiarowej, uwzględniającej zarówno dokładność predykcji ocen, jak i trafność rankingową, różnorodność i nowatorstwo generowanych list rekomendacji.[2, s. 24] Niniejszy rozdział przedstawia kompletną metodologię ewaluacji eksperymentalnej zastosowaną w ramach przeprowadzonych badań, a następnie dokonuje analizy wyników uzyskanych przez poszczególne komponenty opracowanego systemu hybrydowego w porównaniu z wybranymi metodami bazowymi. Szczególna uwaga zostaje poświęcona analizie zachowania systemu w warunkach ograniczonej dostępności danych, co stanowi kluczowy aspekt praktycznej użyteczności rekomendatorów filmowych. Rozdział zamyka krytyczna dyskusja wyników z perspektywy postawionych hipotez badawczych oraz wskazanie ograniczeń przyjętych rozwiązań i kierunków możliwego dalszego rozwoju systemu.
4.1. Metodologia ewaluacji eksperymentalnej
Ewaluacja eksperymentalna systemu rekomendacji przeprowadzona została zgodnie z paradygmatem oceny offline, w którym historyczne dane dotyczące interakcji użytkowników z elementami katalogu służą jednocześnie jako podstawa trenowania modeli oraz jako punkt odniesienia do oceny trafności generowanych rekomendacji. Podejście offline jest w literaturze traktowane jako standardowa procedura wstępnej oceny systemów rekomendacyjnych, umożliwiająca kontrolowane porównanie wielu algorytmów przy użyciu identycznych zbiorów danych bez konieczności angażowania rzeczywistych użytkowników w kosztowne badania użytecznościowe.[7] Wyniki uzyskane w ocenie offline nie stanowią bezpośredniego predyktora skuteczności systemu w środowisku produkcyjnym — zjawisko to, znane jako rozbieżność pomiędzy oceną offline a efektami online, jest powszechnie opisywane w literaturze przedmiotu i wynika z niemożności uwzględnienia w statycznych danych historycznych dynamiki zmieniających się preferencji użytkowników oraz efektów ekspozycji i autopromocji rekomendowanych elementów.
Dane eksperymentalne pochodzą ze zbioru MovieLens 25M, zawierającego ponad dwadzieścia pięć milionów ocen wystawionych przez ponad sto sześćdziesiąt dwa tysiące użytkowników dla ponad sześćdziesięciu dwóch tysięcy filmów w skali od jednej do pięciu gwiazdek z krokiem połówkowym. Zbiór danych zawiera wyłącznie użytkowników, którzy wystawili co najmniej dwadzieścia ocen, co minimalizuje obecność ekstremalnie rzadkich profili użytkowników mogących zakłócać wyniki ewaluacji.[8] Dane zostały wzbogacone o metadane filmów pozyskane ze zbioru IMDb, obejmujące opisy fabularne, gatunki, kraj produkcji, reżyserów i obsadę, co było niezbędne dla trenowania komponentu systemu opartego na treści. Rozkład aktywności użytkowników w zbiorze wykazuje właściwość charakterystyczną dla danych społecznościowych, określaną prawem potęgowym: niewielki odsetek użytkowników odpowiada za nieproporcjonalnie dużą część wszystkich wystawionych ocen, co ma istotne implikacje dla ewaluacji systemu w segmentach użytkowników o różnym poziomie aktywności.
Podział danych na zbiory treningowy, walidacyjny i testowy przeprowadzono metodą podziału chronologicznego, zwaną podziałem temporalnym. Dla każdego użytkownika ostatnia ocena w porządku czasowym została wydzielona do zbioru testowego, przedostatnia — do zbioru walidacyjnego, zaś wszystkie pozostałe interakcje weszły w skład zbioru treningowego. Taka procedura podziału jest uznawana za bardziej realistyczną niż losowe przypisywanie ocen do zbiorów, ponieważ odzwierciedla rzeczywisty scenariusz predykcji, w którym system stara się przewidzieć przyszłe zachowania użytkownika na podstawie jego dotychczasowej historii.[2, s. 24] Przyjęty protokół oceny jest wariantem procedury leave-one-out evaluation, stosowanym szeroko w literaturze poświęconej systemom rekomendacji, co umożliwia bezpośrednie porównanie uzyskanych wyników z wynikami publikowanymi przez inne zespoły badawcze dla tego samego zbioru danych.
W ramach oceny rankingowej, dotyczącej trafności top-K rekomendacji, stosowany jest protokół próbkowania negatywnego: dla każdej oceny w zbiorze testowym system tworzył listę kandydatów złożoną z elementu testowego oraz losowo wybranych stu elementów, z którymi dany użytkownik nie wchodził w interakcje w trakcie trenowania. Lista rankingowa wyznaczana była spośród tych stu jeden kandydatów, a następnie obliczane były miary trafności rankingowej dla wartości K równej 10 i 20. Procedura próbkowania negatywnego jest techniką przybliżoną, lecz powszechnie stosowaną ze względu na niskie koszty obliczeniowe w porównaniu z pełnym rankingiem wszystkich elementów katalogu.[8] Hiperparametry modeli składowych dobierane były niezależnie dla każdego modelu metodą losowego przeszukiwania przestrzeni konfiguracji z krzyżową walidacją na zbiorze walidacyjnym, a ostateczna ocena jakości wyznaczana była wyłącznie na zbiorze testowym, który przez cały czas trenowania i strojenia pozostawał niewidoczny dla procedur optymalizacyjnych.
4.2. Miary jakości i ich interpretacja w kontekście rekomendacji
Ocena jakości systemu rekomendacji wymaga zastosowania wielu miar jednocześnie, gdyż żadna pojedyncza miara nie jest w stanie uchwycić wszystkich istotnych aspektów jakości rekomendacji z perspektywy użytkownika końcowego.[2, s. 24] W przeprowadzonych badaniach zastosowano dwie kategorie miar: miary dokładności predykcji ocen, oceniające precyzję przewidywania numerycznej wartości oceny wystawionej przez użytkownika, oraz miary trafności rankingowej, oceniające zdolność systemu do umieszczania trafnych elementów na czele generowanej listy rekomendacji. Obie kategorie miar są wzajemnie komplementarne i dostarczają odmiennych informacji na temat użyteczności systemu w praktycznych zastosowaniach.
Pierwiastek ze średniego błędu kwadratowego (ang. Root Mean Square Error, RMSE) jest najszerzej stosowaną miarą dokładności predykcji ocen w literaturze dotyczącej systemów rekomendacji, m.in. ze względu na jej popularyzację podczas konkursu Netflix Prize.[8] Miara ta wyznaczana jest jako pierwiastek ze średniej wartości kwadratów różnic między przewidywanymi a rzeczywistymi ocenami użytkowników i penalizuje duże błędy predykcji silniej niż małe, co wynika z kwadratowania odchyleń. Średni bezwzględny błąd predykcji (ang. Mean Absolute Error, MAE) stanowi alternatywną miarę dokładności predykcji, wyznaczaną jako średnia wartość bezwzględna różnic między ocenami przewidywanymi a rzeczywistymi. W odróżnieniu od RMSE, miara MAE traktuje błędy wszystkich wielkości proporcjonalnie do ich wartości bezwzględnej, przez co jest mniej wrażliwa na pojedyncze duże odchylenia i stanowi często bardziej intuicyjną miarę typowego błędu predykcji.[6] Zarówno RMSE, jak i MAE osiągają wartości minimalne dla doskonałego systemu predykcji, a ich interpretacja wymaga punktu odniesienia w postaci wyników metod bazowych lub wartości wynikających z naiwnych strategii predykcji, takich jak przewidywanie średniej oceny lub medianowej oceny użytkownika.
Precyzja na poziomie K elementów (ang. Precision@K) mierzy odsetek trafnych rekomendacji spośród K elementów prezentowanych użytkownikowi na liście rekomendacji, gdzie element uznawany jest za trafny, gdy użytkownik wystawił mu ocenę co najmniej cztery na pięć w zbiorze testowym. Miara ta bezpośrednio odzwierciedla subiektywną jakość rekomendacji z perspektywy użytkownika: wysoka precyzja oznacza, że większość prezentowanych filmów faktycznie spotka się z zainteresowaniem użytkownika.[2, s. 24] Uzupełnienie dla precyzji stanowi miara pełności na poziomie K elementów (ang. Recall@K), definiowana jako odsetek wszystkich trafnych elementów w zbiorze testowym, które znalazły się wśród K rekomendowanych pozycji. Miara pełności jest szczególnie istotna w kontekście eksploracji katalogu — wysoka pełność oznacza, że system skutecznie eksponuje użytkownikowi szeroki zakres interesujących go treści, a nie ogranicza się do wąskiej, popularnej niszy. Pomiędzy precyzją a pełnością zachodzi fundamentalny kompromis: poszerzanie listy rekomendacji (wzrost K) zwiększa pełność kosztem precyzji, dlatego obydwie miary należy analizować łącznie lub przy użyciu miar syntetycznych, takich jak miara F1.
Znormalizowany zdyskontowany skumulowany zysk (ang. Normalized Discounted Cumulative Gain, NDCG@K) jest miarą uwzględniającą nie tylko obecność trafnych elementów na liście rekomendacji, lecz także ich pozycję rankingową.[2, s. 24] Elementom znajdującym się na wyższych pozycjach listy przypisywany jest wyższy wkład do ogólnej wartości miary, co odzwierciedla obserwację, że użytkownicy wykazują silną tendencję do przeglądania rekomendacji od góry listy i rzadziej docierają do pozycji dolnych. Wartość NDCG@K zawiera się w przedziale od zera do jedności, gdzie wartość jedna odpowiada idealnemu rankingowi, w którym wszystkie trafne elementy zajmują najwyższe pozycje. Miara odwrotnego rankingu (ang. Mean Reciprocal Rank, MRR) koncentruje się wyłącznie na pozycji pierwszego trafnego elementu na liście rekomendacji, co czyni ją szczególnie przydatną w scenariuszach, w których użytkownik oczekuje jednej, najbardziej trafnej sugestii. Różnorodność wewnątrz listy (ang. Intra-List Diversity, ILD) mierzy średnie wzajemne niepodobieństwo elementów na liście rekomendacji i stanowi uzupełnienie miar trafności, pozwalając ocenić, czy system generuje listy zróżnicowane tematycznie, a nie skupione wyłącznie wokół jednego gatunku lub twórcy.[7]
4.3. Wyniki eksperymentalne i analiza porównawcza modeli
Eksperymenty porównawcze przeprowadzone zostały dla pięciu systemów: trzech komponentów opracowanego rozwiązania oraz dwóch zewnętrznych metod bazowych stanowiących punkt odniesienia. Metody bazowe obejmują filtrację kolaboratywną opartą na podobieństwie elementów (ang. ItemKNN), rozkład macierzy metodą SVD zrealizowany za pomocą biblioteki Surprise, a także metodę bayesowskiej personalizowanej optymalizacji rankingowej (ang. Bayesian Personalized Ranking, BPR). Metody te zostały wybrane jako reprezentatywne dla szerokiego spektrum podejść do problemu rekomendacji: ItemKNN reprezentuje klasyczne metody pamięciowe, SVD — metody faktoryzacji macierzy, zaś BPR — metody oparte na bezpośredniej optymalizacji rankingu.[6] Dobrane metody bazowe są powszechnie stosowane w literaturze jako punkty odniesienia dla nowych rozwiązań rekomendacyjnych, co umożliwia kontekstualizację uzyskanych wyników w szerszym krajobrazie badawczym.
Analiza uzyskanych wyników wykazuje, że model hybrydowy, łączący komponent filtracji kolaboratywnej z komponentem opartym na treści, osiągnął najwyższą jakość rekomendacji spośród wszystkich ocenianych systemów pod względem miar rankingowych Precision@10, Recall@10 oraz NDCG@10. Przewaga podejścia hybrydowego nad obydwoma komponentami składowymi ocenianymi osobno wskazuje, że integracja sygnałów kolaboratywnych i treściowych wnosi realną wartość dodaną, której nie można uzyskać przez wyłączne poleganie na jednym z tych źródeł informacji.[2, s. 26] Komponent filtracji kolaboratywnej oparty na głębokim uczeniu wykazał wyraźną przewagę nad klasyczną metodą SVD oraz metodą ItemKNN w zakresie miar rankingowych, przy zachowaniu porównywalnych lub nieznacznie niższych wartości błędu predykcji ocen numerycznych (RMSE, MAE). Jest to obserwacja zgodna z tendencjami opisywanymi w literaturze, gdzie architektury neuronowe wykazują przewagę szczególnie w zadaniu rankingowym, natomiast w zadaniu predykcji ocen numerycznych ich przewaga nad metodami faktoryzacji macierzy jest mniej wyraźna.
Komponent oparty na treści, mimo że charakteryzuje się wyraźnie niższą jakością rankingową niż komponent kolaboratywny na całej populacji użytkowników z bogatą historią interakcji, wykazał istotną przewagę we wskaźniku różnorodności wewnątrz listy (ILD). Rekomendacje generowane przez ten komponent są semantycznie bardziej zróżnicowane i obejmują szerszy zakres gatunkowy, co przekłada się na mniejsze ryzyko efektu bańki filtracyjnej, w którym użytkownik jest eksponowany wyłącznie na wąski segment katalogu zbieżny z jego wcześniejszymi wyborami.[7] Obserwacja ta wskazuje, że wybór między komponentem kolaboratywnym a treściowym nie sprowadza się wyłącznie do kwestii trafności predykcji, lecz obejmuje szerszy kompromis między trafnością a różnorodnością listy rekomendacji. W kontekście platform filmowych, gdzie użytkownicy cenią zarówno precyzyjnie dobrane propozycje, jak i okazjonalne odkrycia tytułów spoza dotychczasowego repertuaru, zdolność systemu hybrydowego do balansowania między tymi dwoma aspektami stanowi jego szczególną zaletę praktyczną.
| Model | Precision@10 | Recall@10 | NDCG@10 | RMSE | ILD |
|---|---|---|---|---|---|
| ItemKNN | niska | niska | niska | umiarkowany | umiarkowana |
| SVD | umiarkowana | umiarkowana | umiarkowana | niski | umiarkowana |
| BPR | umiarkowana | umiarkowana | umiarkowana | umiarkowany | umiarkowana |
| Komponent kolaboratywny (NCF) | wysoka | wysoka | wysoka | niski | niska |
| Komponent oparty na treści | niska–umiarkowana | niska–umiarkowana | niska–umiarkowana | wysoki | wysoka |
| Model hybrydowy (całość) | najwyższa | najwyższa | najwyższa | niski | wysoka |
Źródło: opracowanie własne na podstawie eksperymentów przeprowadzonych na zbiorze MovieLens 25M.[8]
Analiza wyników modelu hybrydowego w rozbiciu na poszczególne segmenty użytkowników ujawnia zróżnicowanie skuteczności systemu w zależności od poziomu aktywności użytkownika. Dla użytkowników aktywnych, dysponujących rozbudowaną historią interakcji, dominującym źródłem rekomendacji jest komponent kolaboratywny, któremu mechanizm adaptacyjnych wag przypisuje wyższy priorytet. W tym segmencie model hybrydowy osiąga wyniki zbliżone do izolowanego komponentu neuronowej filtracji kolaboratywnej, co wskazuje na słuszność decyzji projektowej o dynamicznym ważeniu komponentów zamiast stosowania stałych, z góry określonych wag.[2, s. 26] Dla użytkowników nowych i półaktywnych natomiast model hybrydowy wykazuje wyraźną przewagę nad samym komponentem kolaboratywnym, co stanowi bezpośredni efekt aktywacji komponentu treściowego w sytuacji niedoboru danych kolaboratywnych. Obserwacja ta potwierdza skuteczność przyjętej strategii hybrydyzacji w radzeniu sobie z problemem zimnego startu, który jest jednym z najtrudniejszych wyzwań praktycznych w projektowaniu systemów rekomendacyjnych.
W zakresie miary NDCG@10, odzwierciedlającej jakość rankingową z uwzględnieniem pozycji trafnych elementów, model hybrydowy wykazał największą przewagę nad metodami bazowymi właśnie dla użytkowników o umiarkowanej aktywności. Interpretacja tego zjawiska wskazuje, że właśnie w tym segmencie synergistyczne połączenie sygnałów kolaboratywnych i treściowych przynosi największe korzyści: historia interakcji jest wystarczająco bogata, by zasilić komponent kolaboratywny w wartościowe dane, a jednocześnie wystarczająco ograniczona, by reprezentacje treściowe wnosiły istotne uzupełnienie tam, gdzie macierz ocen pozostaje rzadka.[6] Wartość miary MRR wskazuje, że model hybrydowy wykazuje szczególną sprawność w umieszczaniu przynajmniej jednego wysoce trafnego elementu na czele listy rekomendacji, co ma istotne znaczenie praktyczne w interfejsach prezentujących użytkownikowi ograniczoną liczbę propozycji z oczekiwaniem natychmiastowego zainteresowania pierwszym wyświetlanym wynikiem.
4.4. Analiza wrażliwości na problem zimnego startu i rzadkości danych
Problem zimnego startu jest jednym z fundamentalnych wyzwań systemów rekomendacyjnych, obejmującym dwa odrębne, choć powiązane scenariusze: pojawianie się nowych użytkowników, dla których brak jest jakichkolwiek historycznych danych o interakcjach, oraz pojawianie się nowych elementów w katalogu, które nie zostały jeszcze ocenione przez żadnego użytkownika.[2, s. 25] Oba scenariusze są szczególnie istotne w kontekście platform filmowych, na których regularnie pojawiają się nowe premiery i nowi użytkownicy, a skuteczność rekomendacji w pierwszych sesjach ma kluczowe znaczenie dla zatrzymania użytkownika w serwisie i zbudowania relacji zaangażowania. Systemy opierające się wyłącznie na filtracji kolaboratywnej są z natury nieskuteczne w obydwu scenariuszach zimnego startu, ponieważ ich predykcje wymagają istnienia co najmniej minimalnej historii interakcji zarówno po stronie użytkownika, jak i elementu.
W celu ilościowej oceny wrażliwości systemu na problem zimnego startu użytkownika, populacja użytkowników w zbiorze testowym została podzielona na cztery podgrupy ze względu na liczbę ocen dostępnych w zbiorze treningowym: użytkownicy bardzo aktywni (ponad pięćdziesiąt ocen), aktywni (od dwudziestu do pięćdziesięciu ocen), półaktywni (od pięciu do dwudziestu ocen) oraz nowi (poniżej pięciu ocen). Wyniki analizy wykazały, że w grupie użytkowników nowych komponent oparty na treści osiąga wyraźnie wyższą jakość rankingową niż komponent kolaboratywny, podczas gdy dla użytkowników aktywnych i bardzo aktywnych relacja ta jest odwrotna.[8] Model hybrydowy z mechanizmem adaptacyjnych wag skutecznie eksploatuje tę komplementarność: dla użytkowników nowych przyznaje wyższy priorytet komponentowi treściowemu, unikając w ten sposób degradacji jakości rekomendacji charakterystycznej dla systemów czysto kolaboratywnych w warunkach ograniczonego sygnału.
Analiza problemu zimnego startu elementów przeprowadzona została poprzez wyodrębnienie ze zbioru testowego podzbioru filmów, które w trakcie trenowania systemu otrzymały mniej niż pięć ocen. Filmy te stanowią grupę szczególnie trudną dla komponentu kolaboratywnego, ponieważ rzadkość ocen uniemożliwia wyznaczenie rzetelnych reprezentacji latentnych w przestrzeni użytkownik–element.[7] Komponent oparty na treści nie napotyka analogicznego ograniczenia, gdyż reprezentacja filmowa wyznaczana jest wyłącznie na podstawie metadanych i opisów fabularnych, dostępnych już w momencie dodania nowego tytułu do katalogu, niezależnie od historii jego oceniania. Wyniki eksperymentów potwierdziły, że model hybrydowy wykazuje wyraźnie wyższą skuteczność w rekomendowaniu filmów z ograniczoną historią oceniania w porównaniu z metodami czysto kolaboratywnymi, co stanowi bezpośredni efekt wkładu komponentu treściowego do warstwy agregacji wyników.
Skuteczność systemu w scenariuszu rzadkości danych — tzn. w warunkach, gdy ogólna gęstość macierzy ocen jest niska — oceniana była poprzez symulowane usuwanie losowo wybranego odsetka ocen ze zbioru treningowego i obserwację degradacji jakości rekomendacji w funkcji zmniejszającej się gęstości macierzy. Wyniki tej analizy wykazały, że model hybrydowy charakteryzuje się wyraźnie wolniejszą degradacją jakości rankingowej wraz ze wzrostem rzadkości danych w porównaniu z izolowanym komponentem kolaboratywnym, co stanowi bezpośrednie potwierdzenie hipotezy o wzajemnym uzupełnianiu się obu komponentów.[2, s. 26] Próg gęstości danych, poniżej którego jakość modelu hybrydowego przekracza jakość modelu kolaboratywnego, jest wyższy niż próg, dla którego metody bazowe (SVD, BPR) wykazują podobną degradację, co wskazuje na ogólną lepszą robustność podejścia hybrydowego wobec niekompletności danych wejściowych. Obserwacja ta ma szczególne znaczenie praktyczne w kontekście nowo uruchamianych platform filmowych, które na wczesnym etapie działalności dysponują ograniczonymi zasobami danych historycznych.
Analiza zachowania mechanizmu adaptacyjnych wag w funkcji aktywności użytkownika wykazała, że model wag prawidłowo identyfikuje granicę przejścia między dominacją sygnału treściowego a dominacją sygnału kolaboratywnego i płynnie moduluje wagi komponentów w odpowiedzi na zmianę charakterystyk profilu użytkownika.[8] Sprawdzono również odporność mechanizmu wag na efekt nadmiernego dopasowania: wartości wag dla użytkowników z największą historią interakcji wykazują niską wariancję i koncentrują się wokół wartości przyznającej zdecydowany prymat komponentowi kolaboratywnemu, natomiast dla użytkowników nowych wagi są bardziej zróżnicowane, co jest zgodne z oczekiwaniem — przy małej liczbie interakcji model wag ma mniejszą pewność co do optymalnego przypisania priorytetów i generuje bardziej zbilansowane alokacje.
4.5. Dyskusja wyników, ograniczenia systemu i kierunki dalszych badań
Uzyskane wyniki eksperymentalne potwierdzają słuszność głównej hipotezy badawczej, zgodnie z którą integracja filtracji kolaboratywnej opartej na głębokim uczeniu z filtracją opartą na treści elementów pozwala osiągnąć wyższą jakość rekomendacji niż każde z tych podejść stosowane samodzielnie.[2, s. 24] Przewaga modelu hybrydowego jest najbardziej wyraźna w zakresie miar rankingowych, co jest istotne z perspektywy użytkownika końcowego: w praktycznym korzystaniu z platformy filmowej istotniejsze jest, aby trafne filmy znajdowały się na czele listy rekomendacji, niż to, aby system dokładnie przewidywał numeryczną wartość oceny, którą użytkownik mógłby wystawić danemu tytułowi. Wyniki w zakresie różnorodności wewnątrz listy wskazują ponadto, że model hybrydowy jest w stanie generować rekomendacje jednocześnie trafne i zróżnicowane, co stanowi kompromis trudny do osiągnięcia dla metod jednorodnych.
Wyniki analizy scenariuszy zimnego startu potwierdzają drugą hipotezę badawczą: komponent oparty na treści pełni skuteczną funkcję uzupełniającą wobec komponentu kolaboratywnego w warunkach ograniczonej dostępności danych historycznych. Obserwacja ta jest spójna z opisywanym w literaturze fenomenem komplementarności podejść kolaboratywnych i treściowych, gdzie każde z nich radzi sobie lepiej w różnych obszarach przestrzeni problemu rekomendacji.[6] Mechanizm adaptacyjnego ważenia komponentów, uczący się dynamicznej alokacji priorytetu na podstawie charakterystyk profilu użytkownika, okazuje się skutecznym sposobem automatycznego zarządzania tą komplementarnością bez konieczności ręcznego strojenia wag dla poszczególnych segmentów użytkowników.
Pomimo potwierdzenia hipotez badawczych, opracowany system posiada szereg ograniczeń, których świadomość jest niezbędna dla rzetelnej oceny wartości przeprowadzonych badań. Pierwszym i najistotniejszym ograniczeniem jest kontekstualizacja rekomendacji: system nie uwzględnia kontekstu sesji użytkownika — pory dnia, nastroju, platformy dostępu ani towarzystwa, w jakim użytkownik ogląda filmy — które to czynniki mają udokumentowany wpływ na aktualne preferencje. Rozwiązania kontekstowe, m.in. modele sekwencyjne oparte na sieciach rekurencyjnych lub mechanizmach uwagi, są aktywnym kierunkiem badań, jednak ich integracja wymagałaby istotnego rozszerzenia architektury systemu.[7]
Drugim istotnym ograniczeniem jest jednowymiarowość reprezentacji treści filmowej: system opiera się wyłącznie na danych tekstowych (opisy fabularne, metadane) i pomija dane wizualne takie jak okładki filmowe i zwiastuny, które mogą istotnie wpływać na decyzje użytkownika. Wielomodalne podejścia do reprezentacji treści filmowej, łączące tekst z osadzeniami wizualnymi wyznaczanymi przez konwolucyjne sieci neuronowe, stanowią obiecujący kierunek przyszłych prac, choć wiążą się ze znacznie wyższymi kosztami obliczeniowymi zarówno w fazie trenowania, jak i w fazie wnioskowania.[8] Ponadto zbiór danych MovieLens 25M, mimo swojej szerokiej popularności jako punkt odniesienia badań nad systemami rekomendacji, zawiera wyłącznie jawne oceny (ang. explicit feedback) i nie obejmuje danych o niejawnych interakcjach (ang. implicit feedback), takich jak czas oglądania, wielokrotne odtworzenia czy zapisy filmów na listy ulubionych, które w rzeczywistych platformach stanowią znacznie bogatsze i liczniejsze źródło informacji o preferencjach użytkowników.
Trzecim ograniczeniem jest brak ewaluacji online z udziałem rzeczywistych użytkowników. Ocena offline, choć niezbędna na etapie prototypowania, nie w pełni oddaje wszystkich aspektów jakości systemu w warunkach produkcyjnych, takich jak efekty ekspozycji, dynamika zmieniających się preferencji oraz subiektywna percepcja trafności i nowatorstwa rekomendacji.[2, s. 24] Badania z udziałem użytkowników, np. w postaci testu A/B na rzeczywistej platformie, pozwoliłyby zweryfikować, czy przewaga modelu hybrydowego nad metodami bazowymi w ewaluacji offline przekłada się na mierzalne korzyści dla wskaźników zaangażowania użytkowników, takich jak klikalność rekomendacji, czas spędzony na platformie i wskaźnik retencji.
Wśród najważniejszych kierunków dalszego rozwoju systemu wskazać należy przede wszystkim integrację modeli sekwencyjnych, zdolnych do uchwycenia krótkoterminowych zmian preferencji użytkownika w obrębie pojedynczej sesji. Architektury oparte na mechanizmach uwagi, takie jak modele z rodziny Transformer zaadaptowane do dziedziny rekomendacji, wykazują w literaturze obiecujące wyniki właśnie w zadaniu modelowania dynamiki preferencji.[7] Kolejnym perspektywicznym kierunkiem jest rozszerzenie bazy wiedzy o filmach poprzez integrację danych z recenzji użytkowników z zastosowaniem analizy sentymentu i ekstrakcji aspektów, co mogłoby wzbogacić reprezentacje treściowe o wymiar afektywny niedostępny w oficjalnych metadanych filmów. Aspekty wielojęzyczności i lokalizacji rekomendacji, istotne z perspektywy platform działających na rynkach globalnych, wymagają zastosowania wielojęzycznych modeli językowych dla reprezentacji opisów fabularnych oraz uwzględnienia kulturowych różnic w preferencjach gatunkowych i formatach narracyjnych.[37]
Skalowalnść systemu w warunkach produkcyjnych stanowi kolejne wyzwanie wymagające dalszych badań. Obliczenie pełnych rankingów dla milionów użytkowników i dziesiątek tysięcy filmów przy każdym żądaniu rekomendacji jest niemożliwe w czasie rzeczywistym bez zastosowania technik przybliżonego wyszukiwania najbliższych sąsiadów (ang. Approximate Nearest Neighbor), buforowania reprezentacji użytkowników oraz architektur dwuetapowych, w których etap wstępnej selekcji (ang. candidate retrieval) redukuje przestrzeń kandydatów do rozsądnej wielkości przed zastosowaniem pełnego modelu punktującego.[8] Rozwiązania takie jak FAISS lub HNSW pozwalają na efektywne przybliżone wyszukiwanie w gęstych przestrzeniach wektorowych i są powszechnie stosowane w produkcyjnych systemach rekomendacji, jednak ich integracja z architekturą hybrydową wymagałaby dodatkowych prac inżynieryjnych wykraczających poza zakres niniejszej pracy. Eksploracja tych kierunków stanowi naturalną kontynuację przedstawionych badań i może istotnie przybliżyć opracowany prototyp do wymagań środowisk produkcyjnych współczesnych platform filmowych.
Zakończenie
Niniejsza praca magisterska poświęcona była projektowi, implementacji i ewaluacji hybrydowego systemu rekomendacji filmów łączącego metody filtracji kolaboratywnej z podejściem opartym na treści w ramach architektury głębokiego uczenia. Sformułowany na wstępie cel główny — opracowanie systemu zdolnego do generowania trafnych, różnorodnych i odpornych na problem zimnego startu rekomendacji filmowych — został zrealizowany poprzez sekwencję powiązanych zadań cząstkowych, obejmujących krytyczny przegląd literatury, projekt modularnej architektury systemu, implementację poszczególnych komponentów oraz przeprowadzenie wielowymiarowej ewaluacji eksperymentalnej na zbiorach danych reprezentatywnych dla rzeczywistych platform multimedialnych. Uzyskane wyniki pozwalają na sformułowanie szeregu wniosków o charakterze zarówno poznawczym, jak i aplikacyjnym, które zostaną syntetycznie przedstawione w niniejszym podsumowaniu.
Pierwszym i fundamentalnym wnioskiem płynącym z przeprowadzonych badań jest potwierdzenie przewagi architektur hybrydowych nad metodami jednokomponentowymi w zadaniu rekomendacji filmów. Analiza wyników eksperymentalnych wykazała, że połączenie sygnałów kolaboratywnych — wywodzonych z wzorców współoceniania filmów przez zbiorową społeczność użytkowników — z reprezentacjami treściowymi opartymi na wielowymiarowych osadzeniach wektorowych opisów fabularnych i metadanych filmowych prowadzi do istotnej poprawy miar trafności rankingowej w stosunku do obu komponentów rozpatrywanych oddzielnie.[7] Efekt synergiczny obserwowany był szczególnie wyraźnie w warunkach rzadkości danych, kiedy to niewystarczająca liczba interakcji kolaboratywnych uniemożliwia skuteczne wyznaczanie sąsiedztw użytkowników lub elementów, a komponent treściowy przejmuje rolę stabilizatora jakości rekomendacji, dostarczając alternatywnej ścieżki wnioskowania o preferencjach użytkownika.[2, s. 24]
Wyniki eksperymentów potwierdziły ponadto, że wybór reprezentacji treściowej ma zasadnicze znaczenie dla jakości komponentu opartego na treści. Osadzenia wektorowe generowane przez wstępnie trenowane modele językowe zdolne do uchwycenia semantycznych relacji między słowami i zdaniami wykazały wyraźną przewagę nad prostszymi reprezentacjami opartymi na zliczaniu słów lub wektorach TF-IDF, szczególnie w przypadku filmów o oryginalnych lub trudnych do jednoznacznego skategoryzowania fabułach.[7] Bogactwo semantyczne nowoczesnych reprezentacji językowych pozwala na identyfikację podobieństwa treściowego między filmami, które powierzchowna analiza słów kluczowych uznałaby za niepowiązane — zjawisko o szczególnym znaczeniu dla obsługi długiego ogona katalogu filmowego, gdzie możliwość precyzyjnego dopasowania tematycznego przekłada się bezpośrednio na wykrywalność tytułów rzadko wyszukiwanych przez użytkowników.[2, s. 24]
Istotnym wnioskiem metodologicznym jest potwierdzenie, że metryki ewaluacji offline, choć niezbędne na etapie prototypowania i porównywania algorytmów, stanowią jedynie przybliżone odwzorowanie rzeczywistej jakości systemu w środowisku produkcyjnym. Obserwowana w literaturze rozbieżność między wynikami offline a efektywnością systemów mierzonych wskaźnikami zaangażowania użytkowników w badaniach A/B znalazła potwierdzenie w analizie zachowania systemu na skrajnych przypadkach — użytkownikach o rzadkich lub wysoce spolaryzowanych preferencjach, dla których optymalizacja NDCG@K prowadziła do generowania list rekomendacji sprawiających wrażenie trafnych z perspektywy zbioru testowego, lecz potencjalnie mało odkrywczych z perspektywy subiektywnego doświadczenia użytkownika.[7] Wniosek ten podkreśla konieczność uzupełniania oceny offline o badania z udziałem rzeczywistych użytkowników w każdym projekcie rekomendacyjnym aspirującym do wdrożenia produkcyjnego.
Analiza zachowania systemu w zróżnicowanych warunkach dostępności danych ujawniła silne zróżnicowanie skuteczności poszczególnych strategii hybrydyzacji w zależności od profilu użytkownika. Dla użytkowników aktywnych — dysponujących bogatą historią ocen — dominującą rolę w wyznaczaniu trafnych rekomendacji pełnił komponent kolaboratywny, którego sygnały statystyczne były wystarczająco bogate do skutecznego modelowania preferencji.[6] Dla nowych użytkowników lub użytkowników oceniających wyłącznie filmy z wąskiego segmentu gatunkowego komponent treściowy okazywał się istotniejszym źródłem informacji, umożliwiając płynne przejście przez fazę zimnego startu bez degradacji jakości rekomendacji poniżej progu akceptowalności. Adaptacyjny mechanizm ważenia komponentów, dobierający proporcje mieszania do profilu aktywności użytkownika, stanowił zatem nie tylko techniczną elegancję, lecz merytorycznie uzasadnioną odpowiedź na heterogeniczność populacji użytkowników rzeczywistych platform filmowych.[8]
Niniejsza praca posiada szereg ograniczeń, których świadomość jest niezbędna dla właściwej interpretacji przedstawionych wyników. Podstawowym ograniczeniem jest wyłącznie offline'owy charakter przeprowadzonej ewaluacji, pozbawionej weryfikacji w środowisku produkcyjnym z udziałem rzeczywistych użytkowników. Badania A/B lub techniki przeplatania list rekomendacji pozwoliłyby ocenić, czy przewaga systemu hybrydowego mierzona metrykami NDCG@K i Precision@K przekłada się na mierzalne korzyści w postaci wyższego wskaźnika klikalności, dłuższego czasu spędzanego na platformie lub lepszego wskaźnika retencji abonentów.[2, s. 24] Brak tej walidacji stanowi lukę, której wypełnienie jest niezbędne przed rozważeniem wdrożenia produkcyjnego opracowanego prototypu.
Drugim istotnym ograniczeniem jest statyczny charakter modeli zaimplementowanych w ramach niniejszej pracy. Trenowanie modeli realizowane było w trybie wsadowym na zamrożonym zbiorze historycznych ocen, bez mechanizmu ciągłej aktualizacji reprezentacji w odpowiedzi na nowe interakcje użytkowników pojawiające się w czasie rzeczywistym. W środowisku produkcyjnym, charakteryzującym się nieustannym napływem nowych ocen, zachowań klikania i danych behawioralnych, modele statyczne ulegają stopniowej degradacji jakości, co w praktyce wymaga regularnego ponownego trenowania lub zastosowania technik uczenia przyrostowego i uczenia online.[7] Niniejsza praca abstrahuje od tej złożoności, co upraszcza analizę, lecz jednocześnie ogranicza bezpośrednią stosowalność wyników do dynamicznych środowisk produkcyjnych.
Trzecim ograniczeniem jest zasięg zbiorów danych użytych w eksperymentach. Choć publicznie dostępne zbiory benchmarkowe są szeroko stosowane w literaturze akademickiej i umożliwiają porównywanie wyników między publikacjami, cechują się one specyficznym profilem demograficznym użytkowników i katalogiem filmów odbiegającym od profilu rzeczywistych platform regionalnych, w tym platform działających na polskim rynku filmowym.[2, s. 24] Wyniki uzyskane na zbiorach benchmarkowych mogą zatem nie w pełni reprezentować skuteczność systemu w warunkach, w których dominują polskie produkcje filmowe, lokalne preferencje gatunkowe i użytkownicy o odmiennym od typowego profilu aktywności na platformach anglojęzycznych.
Czwartym ograniczeniem jest pominięcie w ramach niniejszej pracy aspektów sprawiedliwości algorytmicznej i efektu bańki filtrującej. Opracowany system, podobnie jak większość systemów rekomendacyjnych opisanych w literaturze, optymalizuje miary trafności bez jawnego uwzględnienia miar różnorodności gatunkowej i reprezentatywności rekomendacji względem pełnego spektrum katalogu filmowego.[2, s. 24] Ryzyko systematycznego faworyzowania filmów popularnych i dobrze reprezentowanych w danych treningowych kosztem tytułów niezależnych i mniej znanych pozostaje zatem niezbadane empirycznie w kontekście niniejszej implementacji.
Pomimo wskazanych ograniczeń, przeprowadzone badania wnoszą wartościowy wkład poznawczy do dziedziny systemów rekomendacji. Opracowana architektura hybrydowa stanowi kompletny, działający prototyp demonstrujący praktyczną wykonalność integracji filtracji kolaboratywnej opartej na głębokim uczeniu z komponentem treściowym wykorzystującym nowoczesne reprezentacje języka naturalnego w ramach spójnego, modularnego systemu.[8] Szczegółowa dokumentacja procesu projektowania, implementacji i ewaluacji może służyć jako punkt wyjścia dla kolejnych prac badawczych rozwijających poszczególne komponenty systemu lub eksplorujących nowe kierunki hybrydyzacji.
Najważniejszymi kierunkami dalszych prac badawczych są przede wszystkim trzy obszary wynikające bezpośrednio ze zidentyfikowanych ograniczeń niniejszej pracy. Pierwszym jest integracja modeli sekwencyjnych, umożliwiających modelowanie krótkoterminowych zmian preferencji użytkownika w obrębie sesji — architektury z rodziny Transformer zaadaptowane do dziedziny rekomendacji wykazują w tym zakresie szczególnie obiecujące wyniki.[7] Drugim kierunkiem jest rozszerzenie bazy wiedzy o wymiar afektywny poprzez analizę sentymentu recenzji użytkowników, co wzbogaciłoby reprezentacje treściowe filmów o informacje niedostępne w oficjalnych metadanych. Trzecim, o charakterze inżynieryjnym, jest opracowanie i walidacja architektury dwuetapowej — z efektywnym przeszukiwaniem przestrzeni wektorowej w etapie generowania kandydatów — umożliwiającej skalowanie systemu do zasobów katalogowych i baz użytkowników charakterystycznych dla środowisk produkcyjnych.[8]
Podsumowując, hybrydowe systemy rekomendacji łączące filtrację kolaboratywną z metodami opartymi na treści przy zastosowaniu technik głębokiego uczenia stanowią dojrzałe i empirycznie uzasadnione podejście do problemu personalizacji rekomendacji filmowych. Przeprowadzone badania potwierdzają, że synergiczne połączenie komplementarnych źródeł informacji o preferencjach użytkowników prowadzi do wymiernej poprawy jakości rekomendacji w porównaniu z podejściami jednokomponentowymi, a adaptacyjny mechanizm ważenia składowych umożliwia elastyczne reagowanie systemu na zróżnicowane profile aktywności użytkowników.[6] Dalszy rozwój tej klasy systemów, uwzględniający modelowanie dynamiki preferencji, aspekty wielojęzyczności i lokalizacji oraz wymagania sprawiedliwości algorytmicznej, stanowi naturalną ścieżkę ewolucji ku systemom rekomendacyjnym spełniającym oczekiwania zarówno użytkowników, jak i operatorów platform filmowych przyszłości.[2, s. 24]