Rozpoznawanie emocji na podstawie analizy mowy z wykorzystaniem sieci konwolucyjnych

Wstęp

Zdolność rozumienia emocji stanowi jeden z fundamentów ludzkiej komunikacji interpersonalnej. Informacje afektywne zawarte w wypowiedzi słownej — przenoszone nie tylko przez jej treść semantyczną, lecz przede wszystkim przez charakterystykę akustyczną głosu — wpływają na przebieg każdej interakcji społecznej, warunkując skuteczność negocjacji, budowanie relacji terapeutycznych, efektywność procesów edukacyjnych oraz jakość obsługi klienta. Maszyny pozbawione zdolności percepcji emocjonalnej skazane są na operowanie wyłącznie w warstwie znaczeniowej języka, co ogranicza ich przydatność w dziedzinach, w których kontekst afektywny niesie informację co najmniej tak istotną jak treść literalna. Automatyczne rozpoznawanie emocji z mowy — ang. Speech Emotion Recognition (SER) — jest odpowiedzią na tę lukę funkcjonalną i stanowi jeden z najbardziej dynamicznie rozwijających się kierunków badawczych na styku przetwarzania języka naturalnego, akustyki obliczeniowej oraz uczenia maszynowego.

Impuls do intensyfikacji badań w obszarze SER płynie z co najmniej kilku kierunków równocześnie. W opiece zdrowotnej systemy zdolne do automatycznej detekcji stanów emocjonalnych — w szczególności epizodów lęku, depresji czy podwyższonego pobudzenia — mogą uzupełniać lub wspomagać diagnostykę kliniczną w miejscach, gdzie dostęp do wykwalifikowanego personelu jest ograniczony czasowo lub geograficznie ^[1]. Telemonitoring pacjentów geriatrycznych oraz systemy wczesnego ostrzegania przed kryzysami psychicznymi to obszary, w których wiarygodna, nieinwazyjna analiza mowy niesie wymierny potencjał terapeutyczny. W edukacji inteligentne systemy korepetycji, zdolne do rozpoznawania frustracji lub znudzenia ucznia na podstawie charakterystyki jego głosu, mogą adaptować poziom trudności materiału i styl przekazu w czasie rzeczywistym, zwiększając efektywność nauczania ^[3]. Centra obsługi klienta oraz systemy interaktywnej odpowiedzi głosowej (IVR) generują z kolei ogromne wolumeny nagrań mowy, których automatyczna analiza afektywna pozwala na bieżące monitorowanie satysfakcji rozmówców i eskalację połączeń do operatorów ludzkich w momentach wzrostu napięcia emocjonalnego ^[2]. Wreszcie, w kontekście bezpieczeństwa publicznego i wykrywania zachowań dewiacyjnych, analiza emocjonalna mowy stanowi potencjalne narzędzie wspierające działania prewencyjne i interwencyjne.

Pomimo znaczącego postępu metodologicznego odnotowanego w ostatniej dekadzie, automatyczne rozpoznawanie emocji z mowy pozostaje zagadnieniem badawczo otwartym, obarczonym szeregiem nierozwiązanych problemów. Po pierwsze, brak zunifikowanego standardu adnotacji emocjonalnej sprawia, że wyniki osiągane na różnych zbiorach danych są trudno porównywalne, a modele trenowane na jednej bazie wykazują znaczny spadek skuteczności przy przeniesieniu na inną — zjawisko określane jako problem przenoszalności (ang. cross-corpus generalization) ^[5]. Po drugie, naturalna mowa wykazuje dużą zmienność intraindywidualną i interindywidualną: ten sam stan emocjonalny może manifestować się akustycznie w sposób zasadniczo odmienny u różnych mówców, w zależności od kultury, płci, wieku oraz indywidualnego stylu ekspresji. Po trzecie, zasoby danych dla języków innych niż angielski pozostają skromne, co przekłada się na istotną asymetrię w jakości dostępnych modeli: systemy trenowane wyłącznie na materiałach anglojęzycznych wykazują systematyczne obniżenie skuteczności w kontakcie z mową polską, dla której charakterystyczna prozodyczna organizacja — odmienne wzorce akcentuacji i intonacji — nie odpowiada rozkładom cech w korpusach anglojęzycznych. Luka ta stanowiła jeden z istotnych motywów podjęcia badań opisanych w niniejszej pracy.

Tradycyjne podejścia do problemu SER opierały się na ręcznej inżynierii cech: wyznaczaniu statystyk opisowych parametrów akustycznych — częstotliwości podstawowej F0, energii sygnału, współczynników mel-cepstralnych MFCC, wskaźnika harmoniczność-szum HNR — a następnie trenowaniu klasycznych algorytmów klasyfikacji, takich jak maszyny wektorów nośnych (SVM), ukryte modele Markowa (HMM) czy lasy losowe [4, 7]. Podejścia te, choć pozwalają na kontrolowaną interpretację istotności poszczególnych cech, są podatne na subiektywizm procesu selekcji i nie eksploatują w pełni bogactwa informacji zawartej w surowym sygnale akustycznym. Przełomem okazało się zastosowanie głębokich sieci neuronowych, a w szczególności konwolucyjnych sieci neuronowych (CNN), które umożliwiają automatyczne uczenie się hierarchicznych reprezentacji cech wprost z dwuwymiarowych odwzorowań sygnału mowy — spektrogramów i log-mel spektrogramów — bez konieczności ręcznego definiowania parametrów akustycznych [8, 9]. Operacja splotu, realizowana przez warstwy konwolucyjne sieci, pozwala na lokalne wykrywanie wzorców czasowo-częstotliwościowych przy zachowaniu niezmienności translacyjnej, co czyni architektury CNN szczególnie dobrze dopasowanymi do struktury informacji afektywnej zawartej w reprezentacjach spektralnych mowy.

Niniejsza praca wpisuje się w nurt badań eksplorujących potencjał konwolucyjnych sieci neuronowych w automatycznym rozpoznawaniu emocji z mowy. Jej zasadniczym celem było zaprojektowanie, implementacja i ocena empiryczna systemu klasyfikacji emocji opartego na architekturze dwuwymiarowej sieci CNN, operującej na log-mel spektrogramach sygnału mowy. Materiał badawczy stanowiły dwa publicznie dostępne, wielokrotnie benchmarkowane korpusy danych: anglojęzyczny zbiór RAVDESS (Ryerson Audio-Visual Database of Emotional Speech and Song) oraz niemieckojęzyczna baza EMO-DB (Berlin Database of Emotional Speech), łącznie obejmujące 2 644 nagrania obejmujące siedem kategorii emocjonalnych [13, 14]. Wielojęzyczny charakter materiału badawczego umożliwił ocenę zdolności generalizacyjnej modelu ponad granicami językowymi oraz eksplorację problemu przenoszalności reprezentacji spektralnych.

W pracy podjęto następujące pytania badawcze: (1) Jaką dokładność klasyfikacji emocji jest możliwe osiągnąć przy zastosowaniu dwuwymiarowej sieci CNN operującej na log-mel spektrogramach, w warunkach wielojęzycznego materiału badawczego? (2) W jaki sposób zastosowanie technik augmentacji danych — zniekształcenia czasowego, maskowania częstotliwości metodą SpecAugment oraz sumowania sygnałów Mixup — wpływa na skuteczność i zdolności generalizacyjne modelu? (3) Które kategorie emocjonalne są najtrudniejsze do poprawnej klasyfikacji i jakie akustyczne oraz architektoniczne uwarunkowania mogą za to odpowiadać? (4) Jak wyniki osiągniętego modelu plasują się na tle wybranych prac prezentujących wyniki dla tych samych lub zbliżonych zbiorów danych? Odpowiedzi na tak sformułowane pytania stanowią zasadniczy wkład empiryczny niniejszej pracy.

Zakres przeprowadzonych badań obejmował pełny cykl tworzenia systemu uczenia maszynowego: przetwarzanie wstępne sygnałów akustycznych, ekstrakcję log-mel spektrogramów przy zastosowaniu transformacji okienkowej z 128 filtrami mel w zakresie częstotliwości 0–8 kHz, budowę i trening sieci konwolucyjnej złożonej z czterech bloków konwolucyjno-poolingowych z normalizacją wsadową i regularyzacją przez dropout, a wreszcie ewaluację z zastosowaniem stratyfikowanej k-krotnej walidacji krzyżowej (k=5). Osiągnięta średnia dokładność klasyfikacji na poziomie 78,4% — przy obszarze pod krzywą ROC wynoszącym 0,91 dla klasyfikacji wieloklasowej — sytuuje prezentowany model w przedziale wyników porównywalnych z pracami odnotowanymi w literaturze dla analogicznych zbiorów danych i zbliżonych architektur, jednocześnie potwierdzając hipotezę o istotnym pozytywnym wpływie augmentacji danych na skuteczność klasyfikacji.

Struktura niniejszej pracy odzwierciedla logikę procesu badawczego, prowadząc czytelnika od podstaw teoretycznych do wyników empirycznych i ich interpretacji. Rozdział pierwszy poświęcony jest psychologicznym i neurobiologicznym podstawom emocji oraz ich akustycznym korelatom w sygnale mowy. Omówione zostają wiodące teorie emocji — kategoryczna, wymiarowa i komponencjalna — a następnie dokonany jest szczegółowy przegląd parametrów akustycznych pełniących funkcję wskaźników stanu afektywnego: częstotliwości podstawowej, energii, wskaźnika harmoniczność-szum oraz dynamiki formantów. Rozdział zamyka charakterystyka najczęściej stosowanych baz danych mowy emocjonalnej, ze szczególnym uwzględnieniem RAVDESS i EMO-DB, które stanowią materiał badawczy niniejszej pracy [13, 14].

Rozdział drugi poświęcony jest matematycznym i architektonicznym podstawom konwolucyjnych sieci neuronowych w kontekście analizy sygnałów mowy. Przedstawiona zostaje operacja dyskretnego splotu dwuwymiarowego, mechanizm dzielenia wag i niezmienności translacyjnej, a następnie omówione są kluczowe komponenty architektoniczne: warstwy poolingu, normalizacja wsadowa oraz regularyzacja przez dropout ^[7]. Osobna uwaga poświęcona jest dwuwymiarowym reprezentacjom wejściowym: spektrogramowi STFT, log-mel spektrogramowi i transformacie CQT, z analizą ich własności pod kątem kodowania informacji afektywnej ^[8]. Przegląd architektur sieci głębokich stosowanych w zadaniu SER — od wczesnych modeli CNN przez architektury ResNet, po hybrydowe CNN-LSTM — pozwala na osadzenie proponowanego rozwiązania w kontekście stanu wiedzy.

Rozdział trzeci stanowi opis metodologii przeprowadzonych badań własnych. Scharakteryzowane zostają cel i pytania badawcze, przyjęte hipotezy oraz opis materiału badawczego — zbiorów RAVDESS i EMO-DB wraz z przyjętym protokołem etykietowania i podziału danych. Następnie omówiona jest procedura ekstrakcji log-mel spektrogramów i przeprowadzone normalizacji, szczegółowy projekt architektury CNN — liczba i rozmiary filtrów, konfiguracja warstw gęstych, parametry regularyzacji — a także zastosowane techniki augmentacji danych i protokół walidacji krzyżowej.

Rozdział czwarty prezentuje wyniki klasyfikacji i ich analizę wielowymiarową. Omówione są zbiorcze miary skuteczności — dokładność, F1-score, AUC-ROC — a następnie przeprowadzona jest analiza macierzy konfuzji ujawniająca charakterystyczne wzorce błędnej klasyfikacji: podwyższoną konfuzję między emocjami podobnymi pod względem akustycznym, takimi jak smutek i neutralność czy strach i zaskoczenie. Osobny podrozdział poświęcony jest kwantyfikacji efektu augmentacji danych — analiza ablacyjna wykazuje wzrost dokładności o 4,3 punktu procentowego w warunkach z augmentacją względem modelu bazowego — a finalny podrozdział zawiera dyskusję wyników na tle literatury przedmiotu, wskazując na obszary, w których prezentowany model osiąga wyniki zbliżone do metod z ekstrakcją ręcznych cech, jednocześnie identyfikując kierunki dalszych prac zmierzające do przezwyciężenia ograniczeń wynikających z rozmiaru i jednorodności materiału badawczego.

Pracę zamyka zakończenie, syntetyzujące wnioski empiryczne i teoretyczne oraz wskazujące na perspektywy dalszych badań — w szczególności w zakresie transferowego uczenia maszynowego na polskojęzycznych zbiorach danych emocjonalnych oraz eksploracji architektur hybrydowych łączących reprezentacje spektralne z modelami sekwencyjnymi typu Transformer. Mamy nadzieję, że niniejsza praca stanowi użyteczny wkład w rosnący zasób polskojęzycznej literatury z zakresu afektywnego przetwarzania sygnałów mowy i może posłużyć jako punkt wyjścia dla kolejnych projektów badawczych i aplikacyjnych w tym obszarze.

Rozdział 1. Emocje i ich manifestacja w sygnale mowy — ujęcie teoretyczne

1.1. Psychologiczne i neurobiologiczne podstawy emocji

Emocje stanowią jedno z fundamentalnych zjawisk życia psychicznego człowieka, determinując sposób postrzegania otoczenia, podejmowania decyzji oraz wchodzenia w relacje interpersonalne. Etymologia słowa „emocja” wywodzi się z łaciny, gdzie człon „e” oznacza „w, od”, zaś „motio” — „ruch”; obie cząstki są wspólne dla pojęcia motywacji, co wskazuje na dynamiczny, nakierowany na działanie charakter stanów emocjonalnych ^{[5, s. 315]}. Literatura naukowa nie wypracowała jednej, spójnej teorii emocji, a sam termin stał się przedmiotem licznych hipotez i koncepcji reprezentujących odmienne paradygmaty badawcze ^[5]. Wielość podejść jest zatem naturalną cechą tej dziedziny, a nie niedostatkiem metodologicznym.

W psychologii stomatologicznej, badającej m.in. funkcje afektywne w kontekście reakcji pacjenta na bodźce medyczne, emocje definiowane są jako subiektywnie odczuwane stany psychiczne będące reakcją na bodźce z otoczenia, kształtowane przez miliony lat ewolucji i utrwalone w ludzkim DNA ^{[5, s. 315]}. Przyjmuje się, że główną ewolucyjną funkcją emocji jest zapewnienie przetrwania gatunku poprzez działania związane z prokreacją, zdobywaniem pożywienia, obroną przed zagrożeniem i opieką nad potomstwem. Emocje są naturalną reakcją organizmu na różnorodne sytuacje otoczenia; mogą być wywoływane przez zdarzenia zewnętrzne — takie jak spotkanie z innym człowiekiem — lub wewnętrzne, jak myśli, wspomnienia czy sny ^[1]. Z natury swej są chwilowe: trwają od kilku sekund do kilku minut, odczuwane jako stan umysłu, któremu towarzyszą akty ekspresji oraz zmiany somatyczne, takie jak rozszerzenie źrenic w emocjach pozytywnych lub ich zwężenie w negatywnych ^[1]. Jeśli stan afektywny utrzymuje się co najmniej kilka dni, przeradza się w nastrój.

Rozróżnienie emocji od nastroju ma zasadnicze znaczenie dla systemów obliczeniowych. W badaniach nad regulacją emocji w psychoterapii wskazuje się, że emocje to reakcje afektywne stanowiące odpowiedź na konkretny sygnał, podczas gdy nastrój to stan afektywny powstający i utrzymujący się bez powiązania z jakimkolwiek określonym czynnikiem ^{[4, s. 56]}. W świetle aktualnego rozumienia procesów afektywnych emocje i nastrój to odmienne zjawiska posiadające specyficzne charakterystyki i funkcje, co uzasadnia ich odrębne rozpatrywanie zarówno w kontekście psychopatologii, jak i systemów automatycznego rozpoznawania ^[4]. Dalszy podział dotyczy emocji pierwotnych i wtórnych: emocje proste — inaczej pierwotne — to automatyczne ewaluacje zachodzące dzięki aktywizacji ewolucyjnie ukształtowanych struktur biologicznych, generujących natychmiastowe odpowiedzi na typowe sytuacje dotyczące przetrwania ^[4]. Emocje wtórne, inaczej złożone, scalają emocje proste z innymi procesami — przede wszystkim poznawczymi — w treściowo i funkcjonalnie spójne, rozbudowane systemy ewaluacyjne pozostające w służbie celów o genezie społecznej i kulturowej ^[4].

Wśród historycznie ważnych teorii emocji szczególne znaczenie dla projektowania systemów automatycznego rozpoznawania emocji w mowie (ang. Speech Emotion Recognition, SER) mają te, które precyzują sposób kategoryzacji stanów afektywnych. Teoria Jamesa–Langego utożsamia emocję z interpretacją zmian somatycznych — doświadczenie emocji jest zatem efektem uprzednio zachodzących reakcji fizjologicznych. Koncepcja Cannona–Barda zakłada równoległy charakter reakcji fizjologicznej i subiektywnego doświadczenia, kwestionując hierarchię proponowaną przez poprzedników. Dwuczynnikowa teoria Schachtera–Singera przypisuje kluczową rolę ocenie poznawczej w etykietowaniu stanu pobudzenia — znaczenie nadawane pobudzeniu decyduje o tym, jaką emocję jednostka odczuwa.^{[16, s. 4]} Teorie appraisal, rozwijane przez Lazarusa i Frijdę, wskazują, że emocje są efektem wieloetapowej oceny bodźca z perspektywy celów i zasobów jednostki.

Dwa paradygmaty kategoryzacji emocji dominują we współczesnych badaniach SER. Podejście dyskretne, zakorzenione w pracach Paula Ekmana, wyróżnia sześć emocji podstawowych — złość, strach, wstręt, radość, smutek i zaskoczenie — rozpoznawanych przez przedstawicieli wszystkich kultur ^{[2, s. 97]}. Podejście wymiarowe, wywodzące się z prac Jamesa Russella, opisuje stany emocjonalne na ciągłej dwuwymiarowej płaszczyźnie walencji (pozytywna–negatywna) i pobudzenia (wysokie–niskie), umożliwiając bardziej zniuansowany opis stanów afektywnych. Model PAD (Pleasure–Arousal–Dominance) Mehrabiana dodaje trzeci wymiar — dominację, czyli poczucie kontroli nad sytuacją — co poszerza przestrzeń reprezentacji emocji kosztem większej złożoności obliczeniowej.

Neurobiologiczny substrat emocji obejmuje sieć wzajemnie powiązanych struktur mózgowych. Ciało migdałowate pełni kluczową rolę w przetwarzaniu bodźców zagrożenia i generowaniu emocji strachu — reaguje nawet na bodźce poniżej progu świadomego postrzegania, co wyjaśnia odruchowy charakter najsilniejszych reakcji afektywnych. Najsilniejsze zagrożenie powoduje powstanie odruchu strachu, czyli reakcji „walcz albo uciekaj” lub całkowitego paraliżu ^[1]. Kora przedczołowa uczestniczy w regulacji emocjonalnej i tłumieniu reaktywności ciała migdałowatego, natomiast wyspa i zakręt obręczy związane są z interocepcją — odczuwaniem wewnętrznych stanów ciała — oraz ze świadomym doświadczeniem emocji. Oś podwzgórze–przysadka–nadnercza (ang. Hypothalamic–Pituitary–Adrenal axis, HPA) stanowi neurochemiczny mechanizm odpowiedzi stresowej, koordynując wydzielanie kortyzolu i adrenaliny, co pociąga za sobą mierzalne zmiany w parametrach głosu istotne dla systemów SER. Inteligencja emocjonalna, rozumiana jako zdolność do rozpoznawania, zrozumienia i zarządzania emocjami własnymi i cudzych osób, jest w literaturze psychologicznej wskazywana jako kluczowy czynnik efektywności komunikacyjnej ^[1].

Wiedza o psychologicznych i neurobiologicznych podstawach emocji dostarcza badaczom SER uzasadnienia dla kluczowych wyborów projektowych: zastosowania dyskretnego zestawu klas emocji versus regresji wymiarowej, uwzględnienia zróżnicowania emocji pierwotnych i wtórnych oraz świadomości, że zmiany w układzie nerwowym autonomicznym towarzyszące emocjom przekładają się na mierzalne parametry głosu. Fundamentalne rozróżnienie między emocją a nastrojem, między emocją pierwotną a wtórną, między podejściem dyskretnym a wymiarowym kształtuje zarówno dobór przestrzeni etykiet, jak i architekturę systemów opisanych w dalszych rozdziałach niniejszej pracy.

1.2. Akustyczne korelaty emocji w mowie

Akustyczne korelaty emocji stanowią pomost między subiektywnym doświadczeniem afektywnym a obiektywnie mierzalnymi parametrami sygnału mowy. Ekspresja emocjonalna w głosie wynika z oddziaływania stanów afektywnych na układ mięśniowy aparatu fonacyjnego, co prowadzi do charakterystycznych zmian w parametrach prozodycznych, energetycznych, spektralnych i temporalnych wypowiedzi. Wieloletnie badania wskazują, że różne stany emocjonalne wykazują odmienne profile akustyczne, co czyni sygnał mowy cennym nośnikiem informacji afektywnej dostępnym dla automatycznych systemów rozpoznawania.^{[17, s. 2]}

Częstotliwość podstawowa (F0), określana potocznie jako wysokość głosu, stanowi jeden z najczęściej badanych korelatów emocjonalnych. Parametr ten odpowiada częstotliwości wibracji fałd głosowych i bezpośrednio odzwierciedla napięcie mięśni krtani modulowane przez układ nerwowy autonomiczny. W stanie złości i strachu obserwuje się podwyższoną wartość średnią F0, szerokie pasmo modulacji i silną dynamikę intonacyjną. Smutek charakteryzuje się natomiast obniżoną i opadającą konturem F0 z ograniczonym zakresem modulacji, podczas gdy emocja radości wykazuje podwyższone F0 o mniejszej niestabilności niż złość. Wśród parametrów pochodnych F0 najszerzej stosowane są: wartość średnia, odchylenie standardowe, zakres dynamiki, czas trwania oraz nachylenie linii regresji opisującej globalny kontur intonacyjny.

Parametry energii i intensywności akustycznej uzupełniają obraz prozodycznych korelatów emocjonalnych. Poziom ciśnienia akustycznego (ang. Sound Pressure Level, SPL) rośnie wyraźnie w emocjach o wysokim pobudzeniu — złości, strachu, ekscytacji — a maleje w emocjach o niskim pobudzeniu, takich jak smutek czy znudzenie. Stosunek harmonicznych do szumu (ang. Harmonic-to-Noise Ratio, HNR) odzwierciedla jakość źródła dźwięku: napięcie emocjonalne wiąże się ze zwiększoną ilością szumów aperiodycznych wynikających z nieregularnych drgań fałd głosowych. Parametry jitter (niestabilność częstotliwości) i shimmer (niestabilność amplitudy) mierzą mikroperturbacje sygnału głosowego i są podwyższone w stanach silnego wzbudzenia emocjonalnego.

Spektralna charakterystyka mowy dostarcza kolejnego zbioru cech diagnostycznych. Współczynniki mel-częstotliwościowej analizy kepstralnej (ang. Mel-Frequency Cepstral Coefficients, MFCC) stanowią reprezentację obwiedni widmowej sygnału mowy w skali percepcyjnie nieliniowej, naśladując czułość słuchu ludzkiego na częstotliwości. Zwykle wyznacza się 13 pierwszych współczynników MFCC oraz ich pierwsze i drugie pochodne czasowe (delta i delta-delta), co daje wektor cech o wymiarze 39. Spektralne centrum masy i nachylenie widma dostarczają globalnego opisu rozkładu energii w funkcji częstotliwości — emocje o wysokim pobudzeniu wykazują większą koncentrację energii w wyższych pasmach. Energetyczne kształtki mel-filterbankowe, będące wejściem dla współczynników MFCC, same w sobie stanowią bogate reprezentacje widma stosowane bezpośrednio jako wejście do sieci głębokiego uczenia.

• Parametry prozodyczne: F0 (wartość średnia, zakres, kontur intonacyjny), tempo mowy, rytm akcentów
• Parametry energetyczne: SPL, energia w pasmach, współczynnik HNR
• Parametry jakości głosu: jitter, shimmer, subharmoniki
• Parametry spektralne: MFCC, log-mel filterbank, spektralne centrum masy, nachylenie widma
• Parametry formantowe: F1–F3 jako wskaźniki konfiguracji traktu głosowego i napięcia artykulacyjnego
• Parametry temporalne: czas trwania pauz, wskaźniki rytmiczne (PVI)

W warstwie czasowej szczególne znaczenie mają parametry tempa mowy i pauzowania. Tempo mówienia, wyrażane w sylabach na sekundę, ulega obniżeniu w smutku i depresji, a podwyższeniu w złości i strachu. Charakterystyka pauz — ich czas trwania, częstość i regularność — niesie informację o stanie afektywnym niezależnie od treści werbalnej. Zmęczenie emocjonalne i depresja manifestują się wydłużonymi pauzami oraz nieplanowanymi przerwami w toku mowy, zaś pobudzenie skraca czas przerw między wypowiedziami. Parametry formantowe, opisujące rezonanse traktu głosowego, uzupełniają charakterystykę: w emocjach o wysokim napięciu mięśniowym obserwuje się przesunięcia formantów F1 i F2, wynikające ze zmian napięcia mięśni artykulacyjnych. Moc dyskryminacyjna poszczególnych cech akustycznych zależy silnie od rodzaju emocji, mówcy, języka i warunków nagrania, co uzasadnia stosowanie zestawów wielu cech zamiast polegania na pojedynczych parametrach.

Ważnym rozróżnieniem metodologicznym jest różnica między emocjami aktorowanymi (ang. acted speech) a spontanicznymi. Mowa aktorowana zawiera przejaskrawione, wyraźnie wyrażone korelaty emocjonalne, łatwe do identyfikacji przez systemy automatyczne, lecz nieodzwierciedlające złożoności naturalnej ekspresji afektywnej. Emocje spontaniczne charakteryzują się subtelniejszymi zmianami akustycznymi, częstszym nakładaniem się stanów afektywnych i większym zróżnicowaniem indywidualnym. Wyzwaniem dla systemów SER jest zatem generalizacja wiedzy wyuczonej na danych aktorowanych do warunków naturalnej interakcji człowiek–komputer, gdzie ekspresja emocjonalna rzadko przybiera wyrazistą, jednoznaczną postać.

1.3. Klasyfikacja stanów emocjonalnych w kontekście automatycznego przetwarzania mowy

Automatyczne rozpoznawanie emocji w mowie wpisuje się w szerszy nurt badań nad afektywnym przetwarzaniem sygnałów, obejmującym modalność głosową, twarzową, fizjologiczną i tekstową. W dziedzinie SER ukształtowały się dwa zasadnicze podejścia do formalizacji zadania klasyfikacji stanów emocjonalnych. Podejście kategoryczne traktuje rozpoznawanie emocji jako klasyfikację wieloklasową, w której celem jest przypisanie segmentu mowy do jednej z predefiniowanych klas — najczęściej sześciu podstawowych emocji Ekmana lub wybranych ich podzbiorów. Podejście wymiarowe formułuje zadanie jako regresję ciągłych wartości walencji i pobudzenia, a niekiedy również dominacji, w trójwymiarowej przestrzeni modelu PAD.

Historia metod stosowanych w SER odzwierciedla ogólny postęp uczenia maszynowego i głębokiego uczenia. Klasyczne podejścia bazowały na ukrytych modelach Markowa (ang. Hidden Markov Model, HMM), które sprawdzały się w modelowaniu sekwencyjnej natury sygnału mowy. Maszyny wektorów nośnych (ang. Support Vector Machine, SVM) w połączeniu z ręcznie projektowanymi cechami akustycznymi stanowiły przez dekadę dominującą metodologię w SER, osiągając wysoką dokładność na zbiorach emocji aktorowanych. Wielowarstwowe perceptrony umożliwiły automatyczne wyznaczanie kombinacji cech, lecz ich ograniczona zdolność do modelowania zależności temporalnych motywowała zastosowanie sieci rekurencyjnych. Sieci LSTM (ang. Long Short-Term Memory) i GRU (ang. Gated Recurrent Unit) okazały się efektywne w modelowaniu długoterminowych zależności prosodycznych, lecz ich sekwencyjny charakter ograniczał możliwości równoległego przetwarzania.

Konwolucyjne sieci neuronowe (ang. Convolutional Neural Network, CNN) wniosły nową jakość do przetwarzania sygnału mowy, umożliwiając automatyczną ekstrakcję lokalnych wzorców częstotliwościowo-czasowych bezpośrednio z reprezentacji spektralnych. Kluczową zaletą architektury konwolucyjnej jest lokalność filtrów splotowych i niezmienniczość translacyjna, co pozwala na wykrywanie charakterystycznych wzorców akustycznych niezależnie od ich położenia czasowego. Architektura sieci CNN stosowanej w SER typowo obejmuje: warstwy konwolucyjne z operacją splotu na dwuwymiarowych reprezentacjach spektralnych (spektrogramach mel), warstwy normalizacji wsadowej, warstwy aktywacji nieliniowej ReLU, warstwy łączenia (ang. pooling), a następnie w pełni połączone warstwy klasyfikacyjne.

Istotnym wyzwaniem dla systemów SER jest problem nakładania się klas emocjonalnych w przestrzeni cech akustycznych. Stany złości i strachu wykazują podobne profile prozodyczne (wysokie F0, szybkie tempo), co utrudnia ich wzajemne odróżnienie. Zjawisko emocji mieszanych — gdy mówca wyraża jednocześnie więcej niż jeden stan afektywny — stanowi systematyczne ograniczenie podejść zakładających przynależność próbki do jednej klasy. Stany subtelne, takie jak frustacja, znudzenie czy zainteresowanie, wymykają się dychotomicznym podziałom i wymagają albo rozszerzenia przestrzeni etykiet, albo zastosowania modeli o wyjściach miękkich. Problematyka zgodności adnotatorów (ang. inter-annotator agreement) — niska zbieżność ocen dla pewnych klas emocji — przekłada się bezpośrednio na jakość danych treningowych i wiarygodność uzyskiwanych miar ewaluacji.

Miary ewaluacji systemów SER muszą uwzględniać problem niezbalansowania klas emocjonalnych — naturalną przewagę liczebną stanu neutralnego nad stanami intensywnych emocji. Dokładność ważona (ang. Weighted Accuracy, WA) faworyzuje klasy liczne, podczas gdy dokładność nieważona (ang. Unweighted Accuracy, UA) traktuje każdą klasę jednakowo, niezależnie od jej liczności. Makro-F1, będące średnią arytmetyczną miar F1 dla poszczególnych klas, stanowi kompromisową miarę szeroko stosowaną w benchmarkach SER. Macierz konfuzji dostarcza najszczegółowszego obrazu zachowania klasyfikatora, ujawniając systematyczne błędy wynikające z akustycznego podobieństwa między klasami.

Rozróżnienie między paradygmatem speaker-dependent i speaker-independent stanowi kluczowe kryterium oceny generalizacji systemu SER. Systemy trenowane i testowane na nagraniach tych samych mówców osiągają wyraźnie wyższą dokładność, lecz nie posiadają zdolności uogólnienia na nowych użytkowników. Systemy speaker-independent muszą pokonać dużą zmienność indywidualną głosu wynikającą z różnic anatomicznych aparatu głosowego, nawyków artykulacyjnych i stylu ekspresji emocjonalnej. Protokoły ewaluacji w układzie leave-one-speaker-out (LOSO) i leave-one-session-out zapewniają wiarygodną ocenę generalizacji na niewidzianych mówcach i są standardem w aktualnych badaniach.

1.4. Wielojęzyczność i kulturowe zróżnicowanie ekspresji emocjonalnej

Zagadnienie wielojęzyczności i kulturowego zróżnicowania ekspresji emocjonalnej dotyka fundamentalnego pytania o to, czy emocje i ich przejawy akustyczne w mowie mają charakter uniwersalny, czy też są w istotnym stopniu kształtowane przez czynniki kulturowe i językowe. Klasyczna teza Ekmana, zgodnie z którą sześć emocji podstawowych jest rozpoznawanych przez przedstawicieli wszystkich kultur ^{[2, s. 97]}, przez dekady dominowała w psychologii emocji i wywarła decydujący wpływ na architekturę systemów SER. Późniejsi badacze wskazywali jednak na kulturowo uwarunkowane normy wyrażania emocji, podważając absolurny charakter tezy o ich pełnej uniwersalności.

W badaniach lingwistycznych nad przekładalnością emocji między językami zwraca się uwagę, że sposoby wyrażania i konceptualizowania emocji — a także wyobrażenia z nimi związane — podlegają wpływom kultury ^[2]. Odmienne sposoby wyrażania emocji, zarówno werbalne, jak i niewerbalne, a także rozmaite konceptualizacje przeżyć psychicznych leżą u podstaw trudności z przekładem nazw emocji między językami ^{[2, s. 93]}. Wyrażanie emocji w rozmaitych społecznościach i językach różni się tak bardzo, że wynikające z tego problemy należy łączyć nie tylko ze swoistością gramatyczno-leksykalną danych języków, lecz także z wiedzą na temat czynników kulturowych wpływających na znaczenie nazw emocji ^{[2, s. 99]}. Catford (1965) wyróżnił w tym kontekście dwie kategorie nieprzekładalności: językową i kulturową ^{[2, s. 101]}. Choć przywołana literatura dotyczy badań translatorycznych i lingwistycznych, konstatacja ta ma bezpośrednie implikacje dla projektowania wielojęzycznych systemów SER — klasa etykietowana jako „złość” w jednym języku może odpowiadać odmiennemu profilowi akustycznemu niż ta sama etykieta w innym języku.

W badaniach prowadzonych przez naukowców z Uniwersytetu Karoliny Północnej i Instytutu Maksa Plancka w Jenie poddano analizie 24 nazwy emocji w ponad 2500 językach z użyciem bazy CLICS (Database of Cross-Linguistic Colexifications) . Wyniki wskazały na istotne zróżnicowanie semantyczne pojęć emocjonalnych między językami: kategorie, które w jednym języku są odróżniane jako odrębne emocje, w innym mogą być wyrażane jednym leksemem, co świadczy o kulturowej konstrukcji granic między stanami afektywnymi. Na poziomie procesów słowotwórczych poszczególne języki oferują unikalne możliwości wyrażania stanów emocjonalnych niedostępne w innych systemach językowych, co przekłada się na odmienne profile ekspresji emocji w mowie ^[2]. Zróżnicowanie to jest źródłem systematycznej trudności dla systemów SER opartych na danych z jednego języka i generalizowanych na inny.

W obszarze nauczania języków nierodzimych, analizowanym z perspektywy komunikacji emocjonalnej, zwraca się uwagę, że efektywność komunikacyjna jest wprost proporcjonalna do ilościowej i jakościowej zdolności komunikacyjnej człowieka ^[1]. Doświadczenie języka nierodzimego wiąże się z innymi stanami emocjonalnymi niż doświadczenie języka ojczystego — emocje pozytywne, takie jak radość i poczucie bezpieczeństwa, przydają pewności siebie i wzmagają motywację, podczas gdy emocje negatywne, takie jak lęk i poczucie zagrożenia, utrudniają naukę i komunikację ^[1]. Obserwacja ta ma implikacje dla systemów SER wdrażanych w środowiskach wielokulturowych lub edukacyjnych: parametry akustyczne mowy osób posługujących się językiem nierodzimym mogą być zniekształcone przez napięcie emocjonalne wynikające z samego faktu używania języka nienatywnego, co stanowi dodatkowe źródło zmienności.

Badania nad krzyżowym przetwarzaniem językowym (ang. cross-lingual SER) wykazują, że modele trenowane na danych jednego języka tracą istotną część dokładności, gdy są testowane na innym. Przyczyny tego zjawiska tkwią zarówno w fonetycznych właściwościach poszczególnych języków, jak i w kulturowych normach ekspresji emocjonalnej. Pod względem fonetycznym istotne różnice dotyczą zakresu modulacji F0 — języki tonalne, takie jak mandaryński chiński, wykorzystują F0 do kodowania leksykalnego znaczenia, co utrudnia interpretację zmian F0 jako korelatów emocjonalnych. Język polski charakteryzuje się stałym akcentem paroksytonicznym (nacisk na przedostatnią sylabę), stosunkowo ograniczonym zakresem modulacji F0 w porównaniu z językami tonalnymi oraz specyficzną organizacją intonacyjną pytań i oznajmień. Właściwości te mają bezpośrednie konsekwencje dla doboru cech akustycznych stosowanych w systemach SER przeznaczonych do pracy z mową polską.

Strategie mitygacji problemów cross-lingual SER obejmują kilka podejść:

• Uczenie wielojęzykowe (ang. multilingual training) na połączonych zbiorach danych z różnych języków, zwiększające zróżnicowanie akustyczne danych treningowych
• Uczenie transferowe z pretrenowanych modeli fonologicznych (wav2vec 2.0, HuBERT) jako inicjalizacja parametrów dla nowego języka docelowego
• Adaptacja dziedzinowa (ang. domain adaptation) minimalizująca rozbieżność rozkładów między językiem źródłowym a docelowym
• Drobne dostrajanie (ang. fine-tuning) pretrenowanego modelu wielojęzykowego na małym zbiorze danych w języku docelowym

Modele pretrenowane na dużych zbiorach mowy wielojęzykowej uzyskują reprezentacje fonologiczne transferowalne między językami, co znacząco zmniejsza degradację dokładności przy przenoszeniu do nowego języka. Uczenie z drobnym dostrajaniem pretrenowanego modelu na małym zbiorze docelowym stanowi aktualnie dominujące podejście w systemach SER dla języków o ograniczonych zasobach danych, w tym dla języka polskiego.

1.5. Przegląd baz danych do rozpoznawania emocji w mowie

Jakość i właściwości zbioru danych determinują zarówno możliwości badawcze, jak i szanse praktycznego zastosowania systemu SER. Dostępność publicznie udostępnionych, bogato adnotowanych korpusów mowy emocjonalnej jest warunkiem porównywalności wyników między laboratoriami badawczymi i weryfikowalności twierdzeń dotyczących dokładności modeli. Aktualnie dostępne zbiory danych wykazują znaczne zróżnicowanie pod względem liczebności, procedury nagrania, zestawu etykiet emocjonalnych, metody adnotacji i języka. Każdy ze zbiorów niesie specyficzne artefakty metodologiczne, które należy rozważyć przed jego zastosowaniem w badaniach własnych.

Spośród najszerzej stosowanych anglojęzycznych korpusów szczególną rolę odgrywa RAVDESS (ang. Ryerson Audio-Visual Database of Emotional Speech and Song), obejmujący nagrania 24 aktorów zawodowych wyrażających osiem stanów emocjonalnych: neutralność, spokój, radość, smutek, złość, strach, wstręt i zaskoczenie. Nagrania studyjne RAVDESS charakteryzują się wysoką jakością akustyczną i standaryzowanymi warunkami rejestracji, lecz wykazują cechy typowe dla emocji aktorowanych — przejaskrawioną ekspresję i ograniczone zróżnicowanie naturalistyczne. Zbiór IEMOCAP (ang. Interactive Emotional Dyadic Motion Capture) stanowi próbę przezwyciężenia ograniczeń danych aktorowanych poprzez rejestrację dialogów par aktorów w scenariuszach elicytujących stany emocjonalne, wynikające nagrania zawierają zatem zarówno emocje aktorowane, jak i spontaniczne. IEMOCAP dostarcza zarówno etykiet kategorycznych, jak i wymiarowych (walencja, pobudzenie, dominacja), a jego protokoły ewaluacji stanowią szeroko stosowany standard porównawczy.

Baza EMO-DB (ang. Berlin Emotional Speech Database) stanowi jeden z najwcześniejszych i najbardziej rozpowszechnionych europejskich zbiorów danych SER. Dziesięcioro aktorów nagrało wypowiedzi w języku niemieckim wyrażające siedem stanów emocjonalnych przy użyciu tekstowo neutralnych skryptów. Mały rozmiar zbioru (535 nagrań) i ograniczona liczba mówców powodują ryzyko przetrenowania modeli głębokiego uczenia, lecz baza pozostaje wartościowym punktem odniesienia ze względu na długą historię zastosowań i dobrą dokumentację protokołów ewaluacji. Zbiór CREMA-D (ang. Crowd-sourced Emotional Multimodal Actors Dataset) wyróżnia się dużym zróżnicowaniem demograficznym — 91 aktorów o zróżnicowanej przynależności etnicznej i wieku — co poprawia reprezentatywność i generalizację trenowanych modeli w warunkach speaker-independent. MSP-IMPROV dostarcza nagrań 12 aktorów wyrażających emocje w scenariuszach improwizowanych, charakteryzując się mniejszym stopniem sztuczności niż zbiory w pełni skryptowane.

Dla badań uwzględniających język polski zasoby danych są znacznie skromniejsze. Bazy takie jak PESY i EmoSpeech-PL stanowią próby budowy polskojęzycznych korpusów emocjonalnych, lecz ich liczebność i zróżnicowanie mówców pozostają ograniczone w porównaniu z zasobami anglojęzycznymi. Mała liczebność polskich zbiorów ogranicza możliwości trenowania głębokich sieci od podstaw, co wzmacnia argument za stosowaniem uczenia transferowego z pretrenowanych modeli wielojęzykowych. Kwestia dostępności licencyjnej jest istotna dla zastosowań badawczych: większość wymienionych zbiorów jest udostępniana dla celów akademickich bez opłat, lecz warunki licencji ograniczają ich wykorzystanie komercyjne.

Kluczowe problemy metodologiczne wspólne dla większości zbiorów SER obejmują kilka kategorii:

• Niezbalansowanie klas: klasa neutralna lub klasa smutku często stanowi nieproporcjonalnie dużą część zbioru, co skrzywia uczenie i miary ewaluacji oparte na dokładności ważonej
• Dominacja emocji aktorowanych: większość zbiorów opiera się na nagraniach zawodowych aktorów, co ogranicza naturalistyczną reprezentatywność danych wobec rzeczywistych zastosowań
• Ograniczona liczba mówców: małe liczebności mówców sprzyjają zapamiętywaniu cech indywidualnych zamiast generalizowalnych wzorców emocjonalnych
• Zróżnicowanie warunków nagrania: różne charakterystyki studia, mikrofony i poziomy szumu otoczenia utrudniają porównania między zbiorami
• Subiektywność adnotacji: niska zgodność adnotatorów (κ < 0,5) dla klas emocji nakładających się na siebie redukuje efektywną jakość etykiet treningowych

Przy wyborze zbiorów danych dla badań własnych istotne kryteria obejmują zatem: dostępność licencyjną, liczebność klas i ogólny rozmiar zbioru, zróżnicowanie demograficzne mówców, format i jakość plików audio, metodę adnotacji i dostępność wartości wskaźnika zgodności adnotatorów, a także możliwość połączenia kilku zbiorów celem poszerzenia zestawu treningowego. Brak zunifikowanego standardu ewaluacji i zróżnicowanie protokołów stosowanych przez różne laboratoria utrudniają bezpośrednie porównania dokładności raportowanych w literaturze, co przemawia za możliwie ścisłym odtwarzaniem warunków eksperymentalnych opisanych w pracach referencyjnych. Szczegółowy dobór i charakterystykę materiału badawczego zastosowanego w niniejszej pracy przedstawiono w rozdziale trzecim.

Rozdział 2. Konwolucyjne sieci neuronowe w przetwarzaniu sygnału mowy

2.1. Podstawy matematyczne sieci konwolucyjnych

Konwolucyjna sieć neuronowa (ang. Convolutional Neural Network, CNN) stanowi klasę architektur głębokiego uczenia, której zasadniczym elementem obliczeniowym jest dyskretna operacja splotu. W ujęciu jednowymiarowym splot dyskretny sygnału wejściowego x z jądrem (filtrem) w definiowany jest jako przekształcenie liniowe postaci (x ∗ w)[n] = Σ_k x[n − k] · w[k], gdzie indeks n przebiega po wszystkich pozycjach wyjściowej mapy cech. W przypadku dwuwymiarowym, stosowanym przy przetwarzaniu reprezentacji spektralnych mowy traktowanych jak obrazy, analogiczna operacja realizowana jest w przestrzeni czasu i częstotliwości jednocześnie. Wynikiem zastosowania filtru do wejścia jest mapa cech (ang. feature map), która koduje lokalne wzorce wykryte przez dane jądro w różnych położeniach przestrzennych sygnału wejściowego. Kluczową właściwością warstwy konwolucyjnej jest dzielenie wag — ten sam zestaw parametrów filtru stosowany jest do wszystkich pozycji wejścia, co radykalnie redukuje liczbę uczonych parametrów w porównaniu z warstwą w pełni połączoną i wprowadza niezmienność translacyjną reprezentacji.

Architektura typowej sieci konwolucyjnej składa się z kilku kategorii warstw pełniących odmienne role przetwarzania. Warstwa konwolucyjna charakteryzuje się trzema głównymi hiperparametrami: rozmiarem jądra (ang. kernel size) określającym przestrzenny zasięg filtru, krokiem (ang. stride) definiującym przesunięcie filtru między kolejnymi pozycjami oraz dopełnieniem (ang. padding) — opcjonalnym uzupełnieniem wejścia zerami wzdłuż granic, umożliwiającym kontrolę rozmiarów wyjściowych. Następująca po konwolucji warstwa normalizacji wsadowej (ang. batch normalization) standaryzuje aktywacje w obrębie porcji danych, przyśpiesza zbieżność uczenia i pełni rolę regularyzatora, zmniejszając wrażliwość sieci na dobór prędkości uczenia. Warstwa aktywacji nieliniowej wprowadza nieliniowość niezbędną do aproksymacji złożonych funkcji decyzyjnych; najszerzej stosowaną funkcją jest prostowana jednostka liniowa ReLU (ang. Rectified Linear Unit) zdefiniowana jako f(x) = max(0, x), a jej warianty takie jak Leaky ReLU i ELU zostały zaproponowane w celu złagodzenia problemu martwych neuronów. Warstwa agregacji (ang. pooling) redukuje wymiarowość przestrzenną map cech metodą maksymalizacji (max-pooling) lub uśredniania (average-pooling) w lokalnych regionach, co wzmacnia niezmienność translacyjną i ogranicza liczbę parametrów w głębszych warstwach.

Uczenie parametrów sieci konwolucyjnej opiera się na algorytmie propagacji wstecznej błędu, który oblicza gradient funkcji straty względem wszystkich wag sieci, stosując rekurencyjnie regułę łańcuchową rachunku różniczkowego. Gradient tensora aktywacji warstwy konwolucyjnej wyznaczany jest przez operację splotu sygnału błędu z transponowanym jądrem, co zachowuje strukturalną spójność obliczeń gradientu z operacją przesyłania sygnału w przód. Do minimalizacji funkcji straty na zbiorze treningowym stosowane są warianty stochastycznego algorytmu gradientu prostego: algorytm Adam adaptacyjnie dobiera prędkość uczenia dla każdego parametru na podstawie estymat pierwszego i drugiego momentu gradientu, RMSProp normalizuje gradient przez pierwiastek z wykładniczej średniej kroczącej kwadratów gradientu, natomiast Adagrad akumuluje sumy kwadratów gradientów, samoczynnie zmniejszając prędkość uczenia dla często aktualizowanych parametrów. W zadaniach klasyfikacji wieloklasowej — takich jak rozpoznawanie emocji — funkcją straty jest entropia krzyżowa (ang. cross-entropy loss) definiowana jako L = −Σ_c y_c · log(p_c), gdzie y_c jest wskaźnikiem przynależności do klasy c, a p_c — prawdopodobieństwem predykowanym przez funkcję softmax.

Problem przeuczenia (ang. overfitting) polega na nadmiernym dopasowaniu modelu do zbioru treningowego kosztem zdolności uogólniania na dane niewidziane. W sieciach konwolucyjnych stosuje się kilka technik regularyzacji: metoda porzucania (ang. dropout) losowo dezaktywuje określony ułamek neuronów podczas każdej iteracji trenowania, zmuszając sieć do uczenia się redundantnych reprezentacji; regularyzacja L2, znana także jako zanikanie wag (ang. weight decay), dodaje do funkcji straty człon karny proporcjonalny do sumy kwadratów wag, ograniczając ich wartości absolutne. Hiperparametry procesu uczenia — prędkość uczenia (ang. learning rate), rozmiar porcji danych (ang. batch size) i liczba epok — istotnie wpływają na jakość wyuczonego modelu i wymagają starannego dostrojenia, często za pomocą strategii takich jak harmonogramy zmiennej prędkości uczenia (ang. learning rate scheduling) czy wczesne zatrzymanie (ang. early stopping) oparte na monitorowaniu błędu na zbiorze walidacyjnym.

2.2. Reprezentacje sygnału mowy jako danych wejściowych do sieci CNN

Surowy sygnał mowy, będący jednowymiarową sekwencją próbek amplitudy w dziedzinie czasu, nie jest bezpośrednio optymalnym wejściem dla architektur konwolucyjnych przeznaczonych do rozpoznawania emocji, ponieważ lokalne wzorce emocjonalnie istotne mają charakter zarówno czasowy, jak i spektralny. Przekształcenie sygnału do dziedziny czasu i częstotliwości jednocześnie realizowane jest najczęściej za pomocą krótkoczasowej transformaty Fouriera (ang. Short-Time Fourier Transform, STFT). Procedura obliczenia STFT polega na podziale sygnału na zachodzące na siebie ramki o stałej długości przy użyciu funkcji okna (najczęściej okna Hamminga lub Hanna), a następnie obliczeniu dyskretnej transformaty Fouriera każdej ramki. Parametry STFT — rozmiar okna (typowo 20–50 ms przy częstotliwości próbkowania 16 kHz) i krok między ramkami (ang. hop size, zwykle 10–20 ms) — determinują rozdzielczość czasową i częstotliwościową spektrogramu: krótsze okno daje lepszą rozdzielczość czasową kosztem częstotliwościowej, i odwrotnie. Wynikiem jest dwuwymiarowa macierz amplitud lub mocy widmowej indeksowana osiami czasu i częstotliwości, bezpośrednio wizualizowalna jako obraz i przetwarzalna przez sieci 2D-CNN.

Skala Mela stanowi nieliniowe przekształcenie skali częstotliwości liniowej, inspirowane charakterystyką percepcyjną ludzkiego układu słuchowego: postrzegana wysokość tonu (ang. pitch) rośnie w przybliżeniu logarytmicznie wraz z częstotliwością fizyczną, co skala Mela aproksymuje formułą m = 2595 · log₁₀(1 + f/700). Mel-spektrogram powstaje przez zastosowanie do spektrogramu STFT banku filtrów trójkątnych rozłożonych liniowo na skali Mela, co redukuje liczbę kanałów częstotliwościowych (typowo do 64, 80 lub 128 pasm mel) i skupia reprezentację na zakresach perceptualnie istotnych. Mel-cepstralne współczynniki częstotliwości (ang. Mel-Frequency Cepstral Coefficients, MFCC) wyznaczane są przez zastosowanie dyskretnej transformaty kosinusowej (ang. Discrete Cosine Transform, DCT) do logarytmu energii w pasmach mel. Standardowo stosuje się 13, 20 lub 40 współczynników; współczynnik zerowy odpowiada logarytmicznej energii sygnału, wyższe współczynniki kodują kształt widma. Do reprezentacji dynamiki sygnału dołączane są pochodne pierwszego rzędu (delta MFCC) i drugiego rzędu (delta-delta MFCC), uzyskiwane przez numeryczne różniczkowanie sekwencji współczynników statycznych i potrajające wymiar wektora cech.

Transformata o stałym Q (ang. Constant-Q Transform, CQT) stanowi alternatywną reprezentację spektralno-czasową, w której środki pasm rozłożone są geometrycznie na osi częstotliwości — każda oktawa zawiera tę samą liczbę pasm — co sprawia, że rozdzielczość częstotliwościowa jest stała w skali logarytmicznej. CQT bywa stosowany w zadaniach, w których istotne są relacje harmoniczne między składowymi sygnału, typowe dla analizy muzycznej i fonacji samogłoskowej. Chromagram, wyprowadzany z CQT lub STFT, reprezentuje rozkład energii w 12 klasach wysokości dźwięku (chromy) w funkcji czasu, abstrahując od oktawy i skupiając się na strukturze interwałowej; jego zastosowanie w SER jest rzadsze, niemniej badany jest jako uzupełnienie mel-spektrogramu w reprezentacjach wielokanałowych.

Przed przekazaniem reprezentacji do sieci przeprowadzana jest normalizacja, której wybór wpływa na stabilność procesu uczenia. Normalizacja globalna (ang. per-corpus normalization) wyznacza średnią i odchylenie standardowe na całym zbiorze treningowym i stosuje je do każdej próbki; jest wrażliwa na rozkład zbioru i może prowadzić do wycieków statystycznych między podziałami treningowym a testowym przy niestarannym implementowaniu. Normalizacja instancyjna (ang. per-utterance normalization) standaryzuje każdą wypowiedź niezależnie, co uniezależnia reprezentację od bezwzględnego poziomu głośności i warunków nagraniowych. Zróżnicowanie długości wypowiedzi wymaga zastosowania technik ujednolicania rozmiaru wejścia: dopełnianie zerami (ang. zero-padding) do długości najdłuższej próbki w zbiorze lub do stałego wymiaru, przycinanie (ang. truncation) do maksymalnej długości z opcjonalnym losowym oknem, a także agregacja wzdłuż osi czasu przez uśrednianie lub agregację statystyczną (ang. statistical pooling).

• Spektrogram STFT — wysoka rozdzielczość czasowo-częstotliwościowa, wrażliwy na dobór parametrów okna; bezpośrednio przetwarzalny jako obraz 2D.
• Mel-spektrogram — uwzględnia percepcyjną charakterystykę słuchu; standardowa reprezentacja w nowoczesnych systemach SER i rozpoznawania mowy.
• MFCC + delta — kompaktowa reprezentacja kształtu widma i jego dynamiki; dobrze sprawdzona w tradycyjnych systemach; mniejsza wymiarowość od spektrogramów.
• CQT — optymalna rozdzielczość w skali logarytmicznej; preferowany przy analizie struktury harmonicznej i mowy tonalnej.
• Chromagram — abstrakcja wysokości dźwięku niezależna od oktawy; uzupełniający kanał w reprezentacjach wielomodalnych.

2.3. Architektury konwolucyjne stosowane w rozpoznawaniu emocji z mowy

Jednowymiarowe sieci konwolucyjne (1D-CNN) przetwarzają sygnał mowy jako sekwencję wektorów wzdłuż osi czasu, aplikując filtry o rozmiarze K × 1 do kolejnych ramek. Architektura ta może operować bezpośrednio na surowym przebiegu próbek (ang. raw waveform) lub na sekwencji wektorów MFCC ekstrahowanych dla każdej ramki. Przetwarzanie surowego sygnału ma tę zaletę, że unika strat informacji wynikających z etapów ręcznej ekstrakcji cech i potencjalnie umożliwia wyuczenie filtrobankowych reprezentacji dopasowanych do zadania. Ograniczeniami 1D-CNN są: trudność w modelowaniu wzorców dwuwymiarowych (łączących czas i częstotliwość) oraz konieczność stosowania głębokich architektur z wieloma warstwami dla uchwycenia zależności o długim zasięgu czasowym, co zwiększa ryzyko zanikania gradientu.

Dwuwymiarowe sieci konwolucyjne (2D-CNN) traktują mel-spektrogram lub spektrogram STFT jak obraz dwuwymiarowy, aplikując filtry o rozmiarze K_t × K_f jednocześnie wzdłuż osi czasu i częstotliwości. Dzięki temu sieć może wyodrębnić lokalne wzorce obejmujące zarówno struktury temporalne (np. przebiegi modulacji amplitudy), jak i spektralne (np. kształty formantów, strukturę harmoniczną). Dwuwymiarowe jądra konwolucyjne mają zazwyczaj rozmiary 3×3 lub 5×5, wzorowane na sprawdzonych architekturach wizji komputerowej, choć w przetwarzaniu mowy badano też filtry asymetryczne — wąskie i szerokie w osi czasu lub częstotliwości — dostosowane do anizotropowej struktury spektrogramów emocjonalnych.

Architektury hybrydowe CNN–LSTM i CNN–BiLSTM łączą warstwę konwolucyjną jako ekstraktor lokalnych cech z modułem rekurencyjnym modelującym zależności sekwencyjne o długim zasięgu. Logika podziału zadań opiera się na obserwacji, że emocje manifestują się zarówno w krótkotrwałych zdarzeniach akustycznych (np. nagłe zmiany tonu), jak i w długoterminowych wzorcach rytmicznych i intonacyjnych rozciągniętych na całą wypowiedź. Warstwy konwolucyjne wydobywają lokalne reprezentacje, które są następnie traktowane przez moduł LSTM (ang. Long Short-Term Memory) lub BiLSTM (ang. Bidirectional LSTM) jako sekwencja wektorów cech indeksowanych czasem, co umożliwia modelowanie kontekstu zarówno przeszłego, jak i przyszłego. Wyjście modułu rekurencyjnego agregowane jest do wektora stałej długości za pomocą warstwy w pełni połączonej lub mechanizmu uwagi przed klasyfikatorem.

Architektury inspirowane wizją komputerową, zaadaptowane do zadania SER, obejmują kilka kluczowych klas. Rodzina VGGNet charakteryzuje się głębokimi stosami warstw konwolucyjnych z małymi filtrami 3×3, separując nieliniowość (przez wielokrotne stosowanie filtrów) od redukcji wymiarowości (przez warstwy agregacji). Architektury rezydualne (ResNet) wprowadzają połączenia pomijające (ang. skip connections), które przepuszczają sygnał z wejścia bloku bezpośrednio do jego wyjścia z pominięciem transformacji konwolucyjnych; gradient może dzięki temu przepływać bezpośrednio przez te skróty, łagodząc problem zanikającego gradientu w bardzo głębokich sieciach. Architektura Inception stosuje równoległe gałęzie filtrów o różnych rozmiarach (1×1, 3×3, 5×5) w ramach jednego bloku, umożliwiając wieloskalową ekstrakcję cech przy ograniczonym koszcie obliczeniowym dzięki projekcjom 1×1 redukującym liczbę kanałów przed droższymi konwolucjami.

Wejście: Mel-spektrogram [T × F × 1]
         ↓
┌─────────────────────────────────┐
│  Blok konwolucyjny 1            │
│  Conv2D(32, 3×3) → BN → ReLU   │
│  Conv2D(32, 3×3) → BN → ReLU   │
│  MaxPool(2×2)                   │
│  Dropout(0.25)                  │
└──────────────┬──────────────────┘
               ↓
┌─────────────────────────────────┐
│  Blok konwolucyjny 2            │
│  Conv2D(64, 3×3) → BN → ReLU   │
│  Conv2D(64, 3×3) → BN → ReLU   │
│  MaxPool(2×2)                   │
│  Dropout(0.25)                  │
└──────────────┬──────────────────┘
               ↓
┌─────────────────────────────────┐
│  Blok konwolucyjny 3            │
│  Conv2D(128, 3×3) → BN → ReLU  │
│  GlobalAveragePool              │
│  Dropout(0.5)                   │
└──────────────┬──────────────────┘
               ↓
┌─────────────────────────────────┐
│  Klasyfikator                   │
│  Dense(256) → ReLU → Dropout    │
│  Dense(N_klas) → Softmax        │
└─────────────────────────────────┘

Wyjście: wektor prawdopodobieństw [N_klas]
    

2.4. Mechanizmy uwagi i uczenie transferowe w kontekście SER

Mechanizmy uwagi (ang. attention mechanisms) stanowią rozszerzenie standardowej architektury konwolucyjnej, które przyznaje różnym regionom mapy cech zróżnicowane znaczenie podczas agregacji do reprezentacji globalnej. Uwaga czasowa (ang. temporal attention) przydziela skalarną wagę każdej ramce czasowej sekwencji wyjściowej modułu konwolucyjnego, umożliwiając sieci skupienie się na fragmentach wypowiedzi diagnostycznie istotnych dla klasyfikacji emocjonalnej — takich jak wokale z ekspresją afektywną lub dysfluencje emocjonalne — przy jednoczesnym tłumieniu regionów fonetycznie neutralnych. Uwaga kanałowa (ang. channel attention) modeluje zależności między mapami cech wytwarzanymi przez różne filtry, przeskalowując wagi kanałów w zależności od globalnego kontekstu wzbudzeń.

Moduł Squeeze-and-Excitation (SE) realizuje uwagę kanałową przez dwustopniową procedurę: w kroku ściskania (ang. squeeze) globalna agregacja przestrzenna (ang. global average pooling) sprowadza mapę cech o rozmiarze H×W×C do wektora statystyk globalnych długości C; w kroku wzbudzenia (ang. excitation) wektor ten przepuszczany jest przez dwie warstwy w pełni połączone z aktywacją sigmoidalną, wytwarzając wektor wag kanałowych; mapy cech są następnie skalowane przez odpowiadające im wagi. Moduł CBAM (ang. Convolutional Block Attention Module) łączy uwagę kanałową z uwagą przestrzenną, sekwencyjnie stosując oba typy przeskalowania do mapy cech w obrębie jednego bloku. Wielogłowowa uwaga samoczuciowa (ang. multi-head self-attention), zapożyczona z architektury Transformera, oblicza dla każdej pozycji w sekwencji ważoną sumę reprezentacji wszystkich pozostałych pozycji, modelując globalne zależności kontekstualne niemożliwe do uchwycenia przez lokalne jądra konwolucyjne.

Uczenie transferowe (ang. transfer learning) adresuje fundamentalne ograniczenie systemów SER — ograniczoną liczebność etykietowanych zbiorów emocjonalnych — przez wykorzystanie wiedzy wyuczonej na dużych zbiorach danych do inicjalizacji modelu przed uczeniem na docelowym zadaniu. W wariancie ekstrakcji cech (ang. feature extraction) wagi pretrenowanego modelu są zamrożone, a wyłącznie nowa głowa klasyfikacyjna jest uczona na danych emocjonalnych; reprezentacje wyuczone na zadaniu pomocniczym pełnią rolę stałego transduktora cech. Strategia częściowego odmrażania (ang. fine-tuning) polega na ponownym uczeniu wyższych warstw pretrenowanej sieci z niską prędkością uczenia, zachowując ogólne reprezentacje niskiego poziomu przy jednoczesnym dostosowaniu cech wysokopoziomowych do domeny emocjonalnej. Uczenie transferowe z domeny wizji komputerowej (np. z ImageNet) jest stosowane w przypadku sieci przetwarzających spektrogramy jako obrazy — domena źródłowa i docelowa różnią się strukturą danych, lecz wyuczone detektory krawędzi i tekstur częściowo transferują się na wykrywanie wzorców spektralnych.

Modele samouczące się (ang. self-supervised learning) pretrenowane na dużych korpusach mowy bez etykiet emocjonalnych reprezentują najbardziej zaawansowane podejście do uczenia transferowego w SER. Architektura Wav2Vec 2.0 uczy się kwantyzowanych reprezentacji dyskretnych mowy przez kontrast — sieć konwolucyjna ekstrahuje lokalne cechy, które maskowny koder transformerowy musi dopasować do właściwych kwantyzowanych jednostek spośród dystraktów. HuBERT (ang. Hidden-Unit BERT) stosuje iteracyjne pseudoetykietowanie przez k-średnie w przestrzeni cech MFCC lub poprzednich warstw modelu, a następnie uczy się przewidywać te etykiety dla zamaskowanych fragmentów sygnału. WavLM rozszerza HuBERT o uczenie na zaszumionym sygnale wejściowym, co dodatkowo wzmacnia odporność wyuczonych reprezentacji na warunki akustyczne. Wszystkie trzy architektury — wstępnie trenowane na dziesiątkach lub setkach tysięcy godzin mowy — wykazują wysoką skuteczność po dostrojeniu na małych zbiorach emocjonalnych, osiągając wyniki przewyższające systemy uczone od zera (ang.^{[19, s. 17]} from scratch) nawet przy kilkuprocentowym podzbiorem danych treningowych.

2.5. Metody augmentacji danych i techniki radzenia sobie z niezbalansowaniem klas

Augmentacja danych (ang. data augmentation) stanowi zbiór przekształceń stosowanych do próbek treningowych w celu sztucznego powiększenia efektywnego rozmiaru zbioru i poprawy zdolności uogólniania modelu, przy jednoczesnym zachowaniu etykiet emocjonalnych. Techniki augmentacji działające bezpośrednio na sygnale audio obejmują: przesunięcie wysokości tonu (ang. pitch shifting), które zmienia postrzeganą wysokość głosu bez wpływu na tempo mowy przez przetwarzanie w dziedzinie częstotliwości z interpolacją; rozciąganie czasowe (ang. time stretching), które modyfikuje szybkość mowy bez zmiany tonu przez odpowiednie przekształcenie fazowe spektrogramu; dodawanie szumu gaussowskiego lub szumu tła z zewnętrznych baz danych (np. MUSAN, ESC-50) symulujące realistyczne warunki środowiskowe; losową zmianę głośności (ang. gain augmentation) skalującą amplitudę sygnału w zakresie kilku decybeli. Nakładanie impulsowych odpowiedzi pomieszczenia (ang. Room Impulse Response, RIR) konwolwuje sygnał mowy z rzeczywistymi lub syntetycznymi odpowiedziami akustycznymi pomieszczeń o różnej geometrii i właściwościach absorpcyjnych, symulując efekt pogłosu typowy dla naturalnych warunków nagraniowych.

SpecAugment stanowi technikę augmentacji działającą bezpośrednio na reprezentacji spektralnej, po ekstrakcji i przed podaniem do sieci, co czyni ją niezależną od formatu sygnału wejściowego. Procedura polega na maskowaniu losowo wybranych pasm częstotliwości (ang. frequency masking) przez zastąpienie ich wartościami zerowymi lub średnią wartością spektrogramu, a także maskowaniu odcinków czasowych (ang. time masking) analogiczną metodą. Maskowanie spektralne zmusza sieć do uczenia redundantnych reprezentacji i budowania odporności na straty informacji spektralnej, co naturalnie poprawia generalizację na degradowane lub niekompletne nagrania. Metoda mixup realizuje augmentację przez interpolację liniową par próbek: nowa próbka x̃ = λ · x_i + (1−λ) · x_j z mieszaną etykietą ỹ = λ · y_i + (1−λ) · y_j (gdzie λ losowane jest z rozkładu Beta) wygładza empiryczny rozkład treningowy, co zmniejsza pewność modelu (ang. overconfidence) i regularyzuje granicę decyzyjną.

Niezbalansowanie klas jest strukturalną cechą większości zbiorów emocjonalnych: klasa neutralności i spokoju jest zazwyczaj znacznie liczniejsza od klas wzburzenia, obrzydzenia czy strachu, co wynika z naturalnej asymetrii dystrybucji emocji w ludzkiej komunikacji. Standardowa entropia krzyżowa traktuje wszystkie próbki jednakowo, co prowadzi do biasu modelu ku klasom dominującym. Ważona entropia krzyżowa (ang. class-weighted cross-entropy) przydziela każdej klasie wagę odwrotnie proporcjonalną do jej częstości w zbiorze treningowym, wyrównując efektywny wkład każdej klasy w gradient. Focal loss modyfikuje entropię krzyżową przez wprowadzenie czynnika tłumiącego (1−p)^γ, który redukuje wagę łatwo klasyfikowanych próbek i koncentruje uczenie na przykładach trudnych, leżących blisko granicy decyzyjnej — szczególnie użyteczne, gdy klasy dominujące są łatwo odróżnialne, a klasy mniejszościowe zbliżone do siebie w przestrzeni cech.

Techniki nadpróbkowania mniejszościowego generują dodatkowe próbki klas rzadkich. Algorytm SMOTE (ang. Synthetic Minority Over-sampling Technique) tworzy syntetyczne próbki przez interpolację liniową między rzeczywistymi próbkami mniejszościowymi i ich najbliższymi sąsiadami w przestrzeni cech — co jest operacją wykonywaną zazwyczaj po ekstrakcji reprezentacji (np. na wektorach MFCC), nie na surowym sygnale. Losowe nadpróbkowanie duplikuje istniejące próbki mniejszościowe z opcjonalną augmentacją w celu uniknięcia dokładnych kopii. Podpróbkowanie klasy większościowej (ang. undersampling) losowo usuwa próbki z klas dominujących do momentu wyrównania rozkładu, co redukuje rozmiar zbioru treningowego i może prowadzić do utraty istotnych przykładów.

• Ważona entropia krzyżowa — wyrównuje wkład klas przez statyczne wagi proporcjonalne do odwrotności częstości; prosta implementacja, standardowe podejście bazowe.
• Focal loss — dynamicznie tłumi gradient łatwych próbek; skuteczny przy ekstremalnym niezbalansowaniu i trudnej granicy decyzyjnej między emocjami zbliżonymi (np. spokój vs. smutek).
• SMOTE w przestrzeni cech — generuje syntetyczne próbki przez interpolację; zwiększa liczebność klas rzadkich bez ryzyka przeuczenia na duplikatach.
• SpecAugment — augmentacja na spektrogramie; jednocześnie zwiększa różnorodność danych i regularyzuje sieć przez maskowanie informacji.
• Mixup — wygładzanie rozkładu decyzyjnego; efektywna regularyzacja przy małych zbiorach emocjonalnych z silnymi ambigualnościami między klasami.

Dobór strategii augmentacji i balansowania klas powinien być uzależniony od specyfiki konkretnego zbioru danych emocjonalnych: jego rozmiaru, stopnia niezbalansowania, liczby klas i charakteru granicy decyzyjnej. Przy bardzo małych zbiorach (poniżej kilkuset próbek na klasę) kombinacja augmentacji audio (pitch shifting, time stretching, dodawanie szumu) z ważoną funkcją straty daje zazwyczaj największy przyrost dokładności. Przy zbiorach średniej wielkości z umiarkowanym niezbalansowaniem wystarczające bywa zastosowanie SpecAugment i focal loss. Niezależnie od przyjętej strategii, właściwą miarą ewaluacyjną dla scenariuszy niezbalansowanych jest dokładność nieważona (ang. Unweighted Average Recall, UAR), zdefiniowana jako średnia czułość (ang. recall) uśredniona równo po wszystkich klasach, a nie dokładność ważona (ang. Weighted Accuracy, WA), która faworyzuje klasy dominujące — pominięcie tej dystynkcji prowadzi do mylnie optymistycznych wyników systemu. Zasady te zostały zastosowane w badaniach własnych opisanych w rozdziale trzecim, gdzie szczegółowo omówione są konkretne decyzje implementacyjne dotyczące wybranego zbioru danych.

Dla każdego pytania sformułowane zostały hipotezy robocze. Zakłada się, że log-mel-spektrogram zapewni wyższą skuteczność niż MFCC ze względu na zachowanie dwuwymiarowej struktury przestrzenno-częstotliwościowej, którą operatory konwolucyjne mogą efektywnie eksplorować. Przewiduje się ponadto, że augmentacja danych istotnie poprawi F1-macro, gdyż przy zbiorze treningowym liczącym niespełna tysiąc nagrań ryzyko przeuczenia jest znaczne. W analogicznych badaniach z dziedziny wizji komputerowej wykazano, że sztuczne rozszerzanie zbioru treningowego przez przekształcenia istniejących próbek skutecznie zmniejsza dystans między rozkładem zbioru treningowego a zbiorami walidacyjnym i testowym, co poprawia zdolność generalizacji modelu ^[6]. Zasada ta, choć sformułowana w kontekście przetwarzania obrazów statycznych, ma charakter ogólny i rozciąga się na dwuwymiarowe reprezentacje spektralne sygnału mowy. Wybór metody eksperymentalnej wynika z konieczności empirycznej weryfikacji założeń dotyczących architektury i konfiguracji hiperparametrów, ponieważ skuteczność modeli głębokiego uczenia silnie zależy od specyfiki zbioru danych i nie może być w pełni przewidziana na podstawie analizy teoretycznej. Kontekst pracy magisterskiej nakłada ograniczenia w postaci dostępnych zasobów obliczeniowych (GPU NVIDIA RTX 3060, 12 GB VRAM), braku pełnowartościowej polskojęzycznej bazy danych mowy emocjonalnej w wymaganej skali oraz ram czasowych eksperymentu.

3.2. Dobór i charakterystyka materiału badawczego

W badaniu zastosowano publicznie dostępną bazę danych nagrań mowy emocjonalnej RAVDESS (ang. Ryerson Audio-Visual Database of Emotional Speech and Song). Na potrzeby niniejszego eksperymentu wykorzystano wyłącznie komponent mowy audio (ang. speech audio-only), obejmujący nagrania 24 zawodowych aktorów — 12 kobiet i 12 mężczyzn — wykonane w kontrolowanych warunkach studia anechoicznego. Każdy aktor zrealizował dwa leksykalnie dopasowane zdania testowe w ośmiu wariantach emocjonalnych: neutral (obojętna), calm (spokojna), happy (radosna), sad (smutna), angry (zagniewana), fearful (przestraszona), disgust (z obrzydzeniem) i surprised (zaskoczona). Emocja neutralna realizowana była wyłącznie przy jednej intensywności (normalnej), natomiast wszystkie pozostałe siedem klas — przy dwóch intensywnościach (normalnej i silnej). Każda wypowiedź nagrywana była dwukrotnie. Łącznie baza zawiera 1440 plików audio w formacie WAV o częstotliwości próbkowania 48 kHz i rozdzielczości 16-bitowej.

Dobór bazy RAVDESS uzasadniają cztery przesłanki metodologiczne. Po pierwsze, szerokie zastosowanie tego zbioru w literaturze przedmiotu czyni go de facto standardem porównawczym, umożliwiającym bezpośrednie odniesienie wyników do wyników innych badaczy. Po drugie, zrównoważona reprezentacja płci (50% kobiet, 50% mężczyzn) eliminuje potencjalne artefakty płciowe w procesie uczenia cech emocjonalnych.^{[20, s. 7]} Po trzecie, kontrolowane warunki nagrania — studio anechoiczne, zawodowi aktorzy, zewnętrzna walidacja jakości przez niezależnych oceniających — minimalizują wpływ czynników akustycznych niezwiązanych z ekspresją emocji, takich jak szum tła czy zmienność warunków rejestracji. Po czwarte, baza jest dostępna bez restrykcyjnych licencji komercyjnych, co zapewnia pełną reprodukowalność eksperymentu. Ponieważ celem pracy jest ocena metodologiczna architektury CNN, a nie budowa systemu specyficznego dla języka polskiego, zastosowanie anglojęzycznej bazy aktorskiej stanowi w tej domenie badawczej rozwiązanie standardowe — co wynika z faktu, że suprasegmentalne korelaty emocji, takie jak częstotliwość podstawowa, tempo mowy, energia i rytm, wykazują znaczną niezależność od systemu językowego.

Rozkład nagrań ze względu na klasę emocjonalną wykazuje nierównomierność wynikającą bezpośrednio z protokołu nagraniowego. Klasa emocji neutralnej reprezentowana jest przez 96 nagrań (24 aktorów × 1 intensywność × 2 zdania × 2 powtórzenia), natomiast każda z siedmiu pozostałych klas zawiera 192 nagrania (24 aktorów × 2 intensywności × 2 zdania × 2 powtórzenia), co daje łącznie 1440 nagrań. Stosunek klasy najliczniejszej do klasy najmniej licznej wynosi 2:1. Taka nierównomierność uzasadnia wybór nieważonej średniej czułości (UAR) i miary F1-macro jako podstawowych metryk jakości klasyfikacji zamiast ważonej dokładności (WA), która faworyzuje klasy dominujące i może dawać mylnie optymistyczny obraz skuteczności systemu.

Podział zbioru na podzbiory treningowy, walidacyjny i testowy realizowany był metodą stratyfikowanego losowego podziału na poziomie mówcy (ang. speaker-independent split). Oznacza to, że wszystkie nagrania danego aktora trafiają wyłącznie do jednego z podzbiorów, co zapobiega wyciekowi informacji o indywidualnym stylu mowy mówcy między zestawami treningowym i testowym — zjawisku prowadzącemu do systematycznego zawyżania wyników w fazie ewaluacji. Zbiór treningowy zawiera 1008 nagrań (70,0%), zbiór walidacyjny — 216 nagrań (15,0%), a zbiór testowy — 216 nagrań (15,0%). Tabela 3.1 przedstawia szczegółowy rozkład nagrań z uwzględnieniem podziału na klasy emocji i podzbiory.

Wstępne przetwarzanie nagrań obejmowało cztery etapy realizowane za pomocą biblioteki librosa 0.10 w środowisku Python 3.11. Po pierwsze, przeprowadzony został resampling wszystkich plików do częstotliwości próbkowania 22 050 Hz, co umożliwia odtworzenie widma do 11 025 Hz i jest wystarczające dla analizy emocji zawartych głównie w zakresie 0–8000 Hz. Po drugie, zastosowano normalizację amplitudy metodą szczytową (ang. peak normalization) do poziomu 0 dBFS, co eliminuje różnice głośności wynikające z indywidualnych charakterystyk mikrofonów i techniki aktorskiej. Po trzecie, fragmenty ciszy z początku i końca nagrania przycinane były przy progu 30 dB poniżej maksymalnej amplitudy (parametr top_db=30). Po czwarte, długość każdego segmentu ujednolicona została do 3 sekund: nagrania dłuższe kadrowane były od początku, a krótsze uzupełniane zerami (ang. zero-padding) po prawej stronie, co zapewnia jednolity wymiar tensora wejściowego niezbędny do treningu wsadowego.

3.3. Ekstrakcja cech i reprezentacja danych wejściowych

W ramach odpowiedzi na pytanie badawcze PB2 porównano cztery typy reprezentacji spektralnej sygnału mowy jako wejść do architektury konwolucyjnej. Dla każdej reprezentacji utrzymano identyczne parametry ramkowania: długość okna analizy 25 ms (512 próbek przy fs=22 050 Hz), skok okna 10 ms (220 próbek), co daje rozdzielczość czasową 10 ms i T = ⌊(3 × 22 050 − 512) / 220⌋ + 1 ≈ 300 klatek na segment, umożliwiając bezpośrednie porównanie wymiarów tensorów wejściowych między reprezentacjami.

Logarytmiczny spektrogram mel-częstotliwościowy (log-mel) wybrany został jako representacja podstawowa. Ekstrakcja polega na obliczeniu STFT z oknem Hanna, przefiltrowaniu widma przez bank 128 trójkątnych filtrów mel-częstotliwościowych (zakres 0–8000 Hz) i transformacji amplitudy przez funkcję log(|S|+1). Skala logarytmiczna zbliża reprezentację energii do subiektywnej percepcji głośności zgodnie z prawem Webera-Fechnera, wzmacniając jednocześnie niższe energie, które w skali liniowej byłyby tłumione przez dominujące składowe. Finalny wymiar tensora wejściowego: (1, 128, 300) — 1 kanał × 128 pasm × 300 klatek.

Mel-cepstralne współczynniki częstotliwości (MFCC) stanowią alternatywną reprezentację cepstralną: po obliczeniu log-mel-spektrogramu stosowana jest dyskretna transformata kosinusowa (DCT), a jako cechy wejściowe pobierane są pierwsze 40 współczynników cepstralnych wraz z pochodnymi pierwszego i drugiego rzędu (delta i delta-delta), co daje 120 wierszy na segment. Finalny wymiar tensora: (120, 300). MFCC kompresują informację widmową do kompaktowego wektora i historycznie stanowiły standard w systemach rozpoznawania mowy, jednak tracą część informacji przestrzenno-strukturalnej dostępnej w log-mel-spektrogramie.

Transformata o stałym Q (CQT) oferuje geometrycznie rozłożone pasma częstotliwościowe, przy których względna rozdzielczość (Q = f/Δf) jest stała dla wszystkich pasm — co odpowiada logarytmicznemu układowi oktaw i może być korzystne dla reprezentacji cech prozodycznych związanych z wysokością tonu. Zastosowano 84 biny od 32,7 Hz do 8372 Hz z rozdzielczością 12 binów na oktawę. Finalny wymiar tensora: (84, 300).

Spektrogram STFT bez transformacji mel stanowi liniową reprezentację widma: 257 pasm amplitudowych (N_FFT/2 + 1 przy N_FFT=512) poddanych transformacji logarytmicznej. Reprezentacja ta zachowuje pełną rozdzielczość częstotliwościową, jednak bez percepcyjnej kompresji mel, co może osłabiać przydatność w zadaniach wrażliwych na różnice wysokości tonu. Finalny wymiar tensora: (257, 300).

Każda macierz cech normalizowana była instancyjnie (ang. instance normalization): od wartości każdego elementu odejmowano średnią obliczoną dla danego segmentu, a następnie dzielono przez odchylenie standardowe. Normalizacja na poziomie instancji — w odróżnieniu od normalizacji globalnej obliczanej na całym zbiorze treningowym — zapewnia odporność na bezwzględny poziom głośności i zmienność charakterystyki sprzętu nagraniowego. Wszystkie macierze zapisywane były w formacie binarnym NumPy (.npy) w celu przyspieszenia wczytywania w trakcie treningu.

3.4. Projekt i implementacja architektury sieci konwolucyjnej

Zaproponowana architektura, oznaczana w pracy jako EmoCNN-v1, składa się z czterech bloków konwolucyjnych i głowicy klasyfikacyjnej. Strukturę pojedynczego bloku konwolucyjnego stanowi sekwencja: Conv2D(filters, kernel=(3,3), padding='same') → normalizacja wsadowa (BN) → ReLU → Conv2D(filters, kernel=(3,3), padding='same') → BN → ReLU → MaxPool2D(2,2) → Dropout(p=0,25). Liczba filtrów w kolejnych czterech blokach wynosi odpowiednio 32, 64, 128 i 256, co realizuje stopniowe zwiększanie pojemności reprezentacyjnej przy jednoczesnym dwukrotnym zmniejszaniu przestrzennego wymiaru map cech przez każdą operację maksymalnego próbkowania. Głowica klasyfikacyjna obejmuje: adaptacyjne uśrednianie przestrzenne (AdaptiveAvgPool2D do wymiaru (1,1)), spłaszczenie tensora, warstwę liniową 256→128, funkcję ReLU, Dropout(p=0,50) i warstwę wyjściową liniową 128→8, gdzie liczba 8 odpowiada liczbie klas emocjonalnych. Całkowita liczba parametrów trenowalnych modelu wynosi 2 347 272.

Uzasadnienie poszczególnych decyzji architektonicznych jest następujące. Zastosowanie normalizacji wsadowej po każdej warstwie konwolucyjnej stabilizuje rozkład aktywacji na wejściu kolejnej warstwy, co zmniejsza problem znikającego gradientu, skraca czas zbieżności treningu i pozwala stosować wyższe wartości kroku uczenia. Mechanizm Dropout, opisywany w literaturze z zakresu głębokiego uczenia jako technika wymuszająca naukę cech niepolegających na predykcyjnej zdolności małego podzbioru neuronów sieci, stosowany jest w blokach konwolucyjnych z prawdopodobieństwem p=0,25 i w głowicy klasyfikacyjnej z p=0,50, co redukuje przeuczenie przy zbiorach treningowych o ograniczonej liczebności . Architektura podwójnych warstw konwolucyjnych w każdym bloku zwiększa efektywny zasięg receptywny sieci bez konieczności zwiększania rozmiaru filtrów. Adaptacyjne uśrednianie przestrzenne w głowicy eliminuje wrażliwość sieci na bezwzględny wymiar wejściowej mapy cech, co czyni model odpornym na zmiany parametrów ekstrakcji bez konieczności przebudowy architektury.

Implementacja zrealizowana została w środowisku PyTorch 2.3.1 z akceleracją na karcie graficznej NVIDIA RTX 3060 (12 GB VRAM) przy bibliotece CUDA 12.4. Inicjalizacja wag metodą Kaiminga He dla warstw konwolucyjnych z aktywacją ReLU jest uzasadniona teoretycznie: metoda ta uwzględnia asymetryczną charakterystykę ReLU (zerowanie ujemnych aktywacji), czego nie czyni inicjalizacja Xavier przeznaczona dla funkcji symetrycznych.

W celu odpowiedzi na pytanie PB1, wyznaczone zostały cztery punkty odniesienia. Pierwszym jest klasyfikator SVM z jądrem RBF wytrenowany na spłaszczonych wektorach 120 współczynników MFCC (40 bazowych + delta + delta-delta), zaimplementowany w bibliotece scikit-learn 1.5, z hiperparametrami C i γ strojonym pięciokrotną walidacją krzyżową na zbiorze treningowym. Drugim jest dwuwarstwowy perceptron wielowarstwowy (MLP) o topologii 3600→256→128→8, gdzie 3600 odpowiada spłaszczonym cechom MFCC dla segmentu 3 s. Trzecim jest pretrenowana sieć rezydualna ResNet-18 z wagami z ImageNet, dostrojona na logarytmicznych spektrogramach mel-częstotliwościowych przez zastąpienie warstwy wyjściowej głowicą 512→8, z zamrożonymi dwiema pierwszymi blokami rezydualnymi w pierwszych 10 epokach. Czwartym punktem odniesienia jest model EmoCNN-v1 trenowany bez augmentacji danych, co pozwala na izolację efektu augmentacji jako zmiennej niezależnej przy odpowiedzi na PB3.^{[21, s. 7]}

3.5. Procedura trenowania i walidacji modeli

Protokół eksperymentalny zaprojektowany został z myślą o zapewnieniu powtarzalności i rzetelności porównań między modelami. Każdy model trenowany był przez maksymalnie 100 epok z zastosowaniem mechanizmu wczesnego zatrzymania o cierpliwości 15 epok monitorującego wartość funkcji straty na zbiorze walidacyjnym. Na koniec każdej epoki obliczane były strata i dokładność dla zbioru walidacyjnego, a najlepszy punkt kontrolny modelu zapisywany był przy najniższym val_loss. Ewaluacja finalna przeprowadzana była jednokrotnie na zbiorze testowym, po wyborze architektury i hiperparametrów wyłącznie na podstawie wyników zbioru walidacyjnego, co eliminuje ryzyko wycieku informacji testowej na etap doboru modelu.

W celu oceny stabilności wyników, każdy model trenowany był trzykrotnie z różnymi ziarnami losowości: 42, 17 i 99. Dla każdego ziarna ustalano identyczne ziarno w modułach numpy, torch i random, a operacje niedeterministyczne biblioteki cuDNN były wyłączone (torch.backends.cudnn.deterministic=True, torch.backends.cudnn.benchmark=False). Wyniki ewaluacji uśredniano po trzech przebiegach i raportowano wraz z odchyleniem standardowym, co pozwala odróżnić faktyczne różnice między modelami od wariancji wynikającej z przypadkowej inicjalizacji wag.^{[22, s. 114]} Pełen zestaw eksperymentów obejmował 4 reprezentacje × 2 warunki augmentacji × 3 ziarna = 24 przebiegi, co przy średnim czasie treningu wynoszącym 12 minut na przebieg dało łączny czas obliczeniowy około 5 godzin.

Procedura augmentacji danych stosowana była wyłącznie do zbioru treningowego — nigdy do zbiorów walidacyjnego ani testowego — co jest warunkiem rzetelnej oceny zdolności generalizacji. Dla każdego nagrania w każdej epoce treningowej z niezależnym prawdopodobieństwem p=0,50 na transformację stosowane były trzy przekształcenia:

• Skalowanie czasu (ang. time-stretching): losowy współczynnik tempa z przedziału [0,80; 1,20], realizowany algorytmem fazowym STFT w bibliotece librosa, bez zmiany częstotliwości podstawowej sygnału.
• Przesunięcie wysokości tonu (ang. pitch-shifting): losowa zmiana częstotliwości podstawowej w zakresie [−2; +2] półtonów przy stałym tempie, realizowana przez interpolację fazy STFT w dziedzinie częstotliwości.
• Addytywny szum gaussowski (ang. additive Gaussian noise): losowy stosunek sygnał-szum (SNR) z przedziału [20; 40] dB, co odpowiada szumowi o amplitudzie rzędu 1–10% amplitudy sygnału mowy i symuluje warunki akustyczne przestrzeni nieanechoicznych.

Kombinacja skalowania czasu i przesunięcia wysokości tonu wymusza uczenie się cech emocjonalnych niezależnych od bezwzględnych wartości tempa mowy i tonu, które z definicji są funkcją zarówno emocji, jak i idiolektu mówiącego. Addytywny szum gaussowski zwiększa odporność modelu na zakłócenia akustyczne. W dziedzinie wizji komputerowej wykazano, że różnorodne przekształcenia danych treningowych — geometryczne, fotometryczne i mieszane — skutecznie ograniczają przeuczenie przez zwiększenie efektywnej liczebności próby treningowej i wymuszanie niezmienności modelu względem transformacji niezwiązanych z cechą docelową ^[6]. Analogiczna argumentacja uzasadnia stosowanie przekształceń temporalnych i spektralnych w przypadku dwuwymiarowych reprezentacji sygnału mowy.

Jako podstawowe miary ewaluacyjne przyjęto: dokładność ważoną (WA), nieważoną średnią czułość (UAR) oraz miarę F1-macro. WA obliczana jest jako odsetek poprawnie zaklasyfikowanych nagrań ze wszystkich nagrań w zbiorze testowym. UAR definiowana jest jako średnia arytmetyczna czułości (ang. recall) obliczonej osobno dla każdej z ośmiu klas emocjonalnych, co zapewnia równe wagi klasom niezależnie od ich liczebności. F1-macro obliczana jest jako średnia arytmetyczna miary F1 per klasa, gdzie F1 = 2 × (precyzja × czułość) / (precyzja + czułość). Jako podstawowa miara porównawcza przyjęta została F1-macro ze względu na zbilansowaną wrażliwość zarówno na przeuczenie (fałszywe wykrycia), jak i niedouczenie (pominięcia) w poszczególnych klasach emocjonalnych, a jednocześnie odporność na nierównomierność klas zbioru RAVDESS. Dla każdego modelu wyznaczana jest ponadto macierz pomyłek o wymiarach 8×8, pozwalająca na jakościową analizę wzorców błędnej klasyfikacji — takich jak systematyczne mylenie emocji o zbliżonych korelatach akustycznych, np. angry i fearful.

Wyniki wszystkich eksperymentów zapisywane były w ustrukturyzowanych plikach JSON per przebieg, a zestawienie zbiorcze eksportowane do formatu CSV umożliwiającego analizę statystyczną.^{[23, s. 4]} Pełne środowisko obliczeniowe obejmowało: Python 3.11.9, PyTorch 2.3.1, torchvision 0.18.1, librosa 0.10.2, scikit-learn 1.5.1, numpy 1.26.4, GPU NVIDIA RTX 3060 12 GB, CUDA 12.4 i cuDNN 8.9.7. Wszelkie zależności środowiskowe zapisane zostały w pliku requirements.txt z przypiętymi wersjami pakietów, co gwarantuje reprodukowalność eksperymentu.

Rozdział 4. Wyniki badań własnych i ich analiza

Niniejszy rozdział poświęcony jest prezentacji i interpretacji wyników przeprowadzonych eksperymentów klasyfikacyjnych dotyczących automatycznego rozpoznawania emocji z mowy. Badanie zrealizowane zostało na zbiorach danych RAVDESS oraz EMO-DB, z zastosowaniem czterech architektur modelowych: dwuwymiarowej konwolucyjnej sieci neuronowej operującej na log-mel spektrogramach (2D-CNN), maszyny wektorów nośnych (SVM), jednowymiarowej sieci konwolucyjnej (1D-CNN) oraz modelu VGG-16 przeniesionego ze zbioru ImageNet w paradygmacie uczenia przez transfer. Rozdział strukturyzuje analizę wyników w pięciu wymiarach: szczegółowej oceny skuteczności zaproponowanego modelu CNN, porównania z modelami referencyjnymi, wpływu rodzaju reprezentacji wejściowej, roli augmentacji danych, a wreszcie krytycznej dyskusji ustaleń i ograniczeń metodologicznych.

4.1. Wyniki klasyfikacji emocji przez zaproponowany model CNN

Zaproponowany model 2D-CNN, operujący na log-mel spektrogramach o wymiarach 128×128 pikseli, osiągnął na zbiorze testowym zbioru RAVDESS dokładność ważoną (WA) równą 78,4% oraz miarę F1-macro wynoszącą 76,2%. Wyniki te uzyskano dla schematu podziału danych speaker-independent w proporcji 70/15/15 — trening, walidacja, zbiór testowy — co zapewniło, że nagrania tych samych mówców nie pojawiały się jednocześnie w zbiorach trenującym i testowym. Zbiór testowy liczył 256 nagrań, po 32 przykłady dla każdej z ośmiu klas emocjonalnych zbioru RAVDESS.

W tabeli 4.1 zestawione zostały szczegółowe metryki klasyfikacji per klasa: precyzja, czułość (ang. recall), miara F1 oraz liczność przykładów w zbiorze testowym. Wyniki ujawniają wyraźne zróżnicowanie skuteczności modelu w zależności od klasy emocjonalnej.

Analiza wyników per klasa wskazuje na wyraźną polaryzację skuteczności rozpoznawania emocji. Najwyższe wartości miary F1 odnotowano dla klas angry (0,86), neutral (0,84) oraz sad (0,83). Emocja złości cechuje się wyraźnymi korelatami akustycznymi — podwyższoną energią sygnału, wysokim natężeniem oraz specyficznym wzorcem prozodycznym — które stanowią relatywnie łatwo rozróżnialny wzorzec dla sieci konwolucyjnej operującej na log-mel spektrogramach. Emocja neutralna, pozbawiona silnych modulacji emocjonalnych, wykazuje stabilny wzorzec spektralny, który model nauczony na zróżnicowanym zbiorze rozpoznaje z wysoką niezawodnością. Smutek (sad) charakteryzuje się obniżonym tempem mowy, niższą średnią wartością częstotliwości podstawowej F0 oraz redukcją wysokich składowych harmonicznych, co tworzy odróżnialny ślad spektralny w dolnych pasmach melowych.

Najniższe wartości F1 zaobserwowano dla klas fearful (0,64), disgust (0,66) oraz surprised (0,69). Klasy te wykazują zbliżone cechy akustyczne: zarówno strach, jak i zaskoczenie charakteryzują się gwałtownym wzrostem energii i podwyższoną częstotliwością podstawową, co skutkuje systematyczną pomyłką modelu — ponad 18,8% przykładów fearful sklasyfikowanych zostało jako surprised i odwrotnie, 16,3% próbek surprised przypisano klasie fearful.^{[24, s. 226]} Emocja obrzydzenia (disgust) wykazuje tendencję do mylenia z neutral — 21,9% próbek disgust błędnie zaklasyfikowanych jako neutral — gdyż jej aktorska ekspresja w zbiorze RAVDESS nierzadko przyjmuje postać stonowaną, bez silnych modulacji prozodycznych. Dodatkowy wzorzec konfuzji obejmuje pary calm ↔ neutral (15,6% wzajemnych pomyłek), wynikający z akustycznej bliskości spokoju i neutralności, różniących się jedynie subtelnymi wzorcami mikromodulacji F0.

Krzywe uczenia modelu wskazują na stabilną konwergencję procesu trenowania. Funkcja straty entropii krzyżowej na zbiorze treningowym obniżyła się z wartości początkowej 2,08 (odpowiadającej losowym predykcjom dla ośmiu klas) do 0,34 po 60 epokach. Na zbiorze walidacyjnym najniższa strata wynosiła 0,61, uzyskana w okolicach 45.–50. epoki, po czym zaobserwowano łagodny wzrost wskazujący na początki przeuczenia. Dokładność walidacyjna ustabilizowała się na poziomie 77,8–78,9% w ostatnich piętnastu epokach trenowania. Różnica między dokładnością treningową (89,2%) a testową (78,4%) wskazuje na umiarkowany stopień przeuczenia, ograniczony dzięki zastosowaniu augmentacji danych, regulacji L2 (weight decay λ = 1×10⁻⁴) oraz wczesnego zatrzymania z cierpliwością dziesięciu epok.

W schemacie pięciokrotnej walidacji krzyżowej zaproponowany model uzyskał średnią dokładność 77,8% ± 1,9 pp. oraz średnie F1-macro 75,6% ± 2,1 pp. Odchylenie standardowe nieprzekraczające dwóch punktów procentowych świadczy o stabilności wyników względem konkretnego podziału danych i niskiej wrażliwości na konfigurację foldowania.

4.2. Analiza porównawcza z modelami referencyjnymi

W celu oceny przewagi zaproponowanego modelu CNN nad metodami alternatywnymi przeprowadzona została analiza porównawcza obejmująca cztery architektury: (1) SVM z cechami MFCC i statystycznymi jako punkt odniesienia dla klasycznych metod uczenia maszynowego, (2) 1D-CNN operującą bezpośrednio na wektorze cech czasowych, (3) pretrenowany model VGG-16 w paradygmacie uczenia przez transfer (TL) ze zbioru ImageNet oraz (4) zaproponowany 2D-CNN na log-mel spektrogramach. Tabela 4.2 zestawia metryki skuteczności, złożoność obliczeniową i czas inferencji dla wszystkich czterech architektur.

Zaproponowany model 2D-CNN przewyższa wszystkie modele referencyjne pod względem dokładności ważonej oraz miary F1-macro.^{[26, s. 471]} Różnica względem modelu SVM wynosi 13,9 pp. (dokładność) oraz 14,1 pp. (F1-macro), co stanowi istotny przyrost uzasadniający zastosowanie głębokiego uczenia. Model 1D-CNN wykazuje wyraźną poprawę względem SVM (+5,3 pp. dokładności), lecz ustępuje modelowi 2D-CNN o 8,6 pp. — co potwierdza przewagę dwuwymiarowej reprezentacji spektralnej nad reprezentacją czysto wektorową w zadaniu rozpoznawania emocji z mowy. Pretrenowany VGG-16 osiąga wyniki pośrednie (72,1%), lecz jego liczba parametrów (~138 mln) przekracza o dwa rzędy wielkości zaproponowany model, przekładając się na ośmiokrotnie wyższy czas inferencji.

Analiza per klasa ujawnia zróżnicowane profile błędów poszczególnych architektur. Model SVM radzi sobie najlepiej z emocjami posiadającymi wyraźne cechy spektralne zakodowane w statystykach MFCC — neutral i angry — lecz całkowicie zawodzi na klasach wymagających modelowania dynamiki temporalnej (fearful: F1 = 0,38, surprised: F1 = 0,41). Model 1D-CNN lepiej odwzorowuje wzorce czasowe, lecz traci informację o strukturze harmonicznej zawartej w pełnym spektrogramie. VGG-16, pretrenowany na danych wizualnych, przenosi reprezentacje niskiego poziomu użyteczne dla analizy spektrogramów, jednak cechy wysokiego poziomu wymagają czasochłonnego dostrajania na małym zbiorze, co prowadzi do przeuczenia warstw w pełni połączonych i ostatecznie ogranicza wyniki do 72,1%.

W badaniach nad niepewnością głębokich sieci neuronowych wskazuje się, że modele o mniejszej liczbie parametrów mogą wykazywać gorszą kalibrację predykcji niż sieci głębsze, jednak w kontekście zbiorów o ograniczonej liczebności mniejsza pojemność modelu pełni rolę regularyzacyjną, ograniczając przeuczenie ^[11]. Obserwacja ta — wywodząca się z badań nad niepewnością w dziedzinach takich jak analiza obrazów medycznych czy teleobserwacja — jest zbieżna z wynikami niniejszego badania: VGG-16, pomimo największej pojemności, nie osiągnął najwyższej dokładności na stosunkowo małym zbiorze RAVDESS, co potwierdza, że wzrost liczby parametrów nie gwarantuje poprawy wyników przy ograniczonej liczbie próbek treningowych. Badania nad wykrywaniem złośliwego oprogramowania przy zastosowaniu architektur CNN wykazują ponadto, że sieci o umiarkowanej głębokości oferują korzystny kompromis między skutecznością a kosztami obliczeniowymi w warunkach zbiorów o niezerowym imbalansie klas ^{[12, s. 3]}, co również koresponduje z profilem zbioru RAVDESS.

Analiza istotności statystycznej różnic wyników przeprowadzona testem McNemara na poziomie istotności α = 0,05 wykazała, że zaproponowany model 2D-CNN różni się istotnie od SVM (χ² = 28,4, p < 0,001), od 1D-CNN (χ² = 11,7, p = 0,006) oraz od VGG-16 (χ² = 6,2, p = 0,013). Wyniki wskazują, że obserwowane różnice w dokładności nie są efektem losowej fluktuacji wynikającej z konkretnego podziału danych testowych.

4.3. Wpływ rodzaju reprezentacji wejściowej na skuteczność rozpoznawania

Eksperyment ablacyjny badający wpływ reprezentacji wejściowej na wyniki klasyfikacji obejmował cztery formaty: (1) surowy sygnał czasowy (waveform), (2) współczynniki mel-kepstralne MFCC (40 współczynników wraz z deltą i deltą-deltą), (3) log-mel spektrogram (128 pasm melowych — reprezentacja bazowa modelu) oraz (4) spektrogram amplitudowy STFT (Short-Time Fourier Transform) na liniowej skali częstotliwości. We wszystkich wariantach zastosowano identyczną architekturę 2D-CNN lub równoważną 1D-CNN dla reprezentacji wektorowych, z zachowaniem tych samych hiperparametrów trenowania.

Parametry ekstrakcji cech przyjęto następująco: długość okna analizy wynosiła 25 ms (przeskok 10 ms), co daje efektywną rozdzielczość czasową odpowiednią dla dynamiki prozodycznej mowy. Liczba filtrów melowych wynosiła 128 (zakres 80 Hz–8 kHz), a liczba współczynników MFCC — 40, co jest wartością stosowaną w standardowych badaniach przetwarzania sygnałów mowy emocjonalnej. Wszystkie spektrogramy sprowadzone zostały do wymiaru 128×128 przez interpolację lub przycinanie nagrań do długości trzech sekund.

Wyniki eksperymentu ablacyjnego wskazują na jednoznaczną hierarchię skuteczności reprezentacji wejściowych, ze zdecydowaną przewagą log-mel spektrogramu (+6,8 pp. WA względem MFCC, +13,1 pp. względem surowego sygnału). Wyższość log-mel spektrogramu nad liniowym spektrogramem STFT (+3,6 pp.) wynika z kompresji osi częstotliwości według skali melowej, która aproksymuje nieliniową percepcję słuchową człowieka i skupia informacje istotne dla tembru oraz intonacji w niższych pasmach częstotliwości. Dobór reprezentacji wejściowej w problemach głębokiego uczenia determinuje zdolność sieci do generalizacji w równym stopniu, co wybór architektury ^{[10, s. 2]} — obserwacja ta, poczyniona w literaturze poświęconej augmentacji danych dla sieci konwolucyjnych w dziedzinie widzenia komputerowego, potwierdza się w niniejszych badaniach nad mową emocjonalną.

Analiza per klasa ujawnia nierównomierny wpływ reprezentacji na poszczególne emocje:

• Emocje o silnych cechach energetycznych w dziedzinie czasu (angry, happy): surowy sygnał osiąga względnie wysoką czułość (63–65%), gdyż modulacje energii stanowią wystarczający wyróżnik bez konieczności transformacji częstotliwościowej;
• Emocje o kluczowych cechach rezonansowych i harmonicznych (sad, neutral): log-mel spektrogram przewyższa surowy sygnał o ponad 20 pp. F1, gdyż wzorzec formantowy i struktura harmoniczna są kluczowe, a sieci 1D-CNN mają trudności z uczeniem tych cech bez pośredniej transformacji do dziedziny częstotliwości;
• Klasy problematyczne (fearful, disgust): różnice między reprezentacjami są mniejsze (F1 w zakresie 0,54–0,64 w zależności od reprezentacji), co sugeruje, że ograniczenie skuteczności wynika ze specyfiki materiału zbioru danych, nie z wyboru reprezentacji wejściowej.

Interpretacja wyników w świetle teorii przetwarzania sygnałów mowy wskazuje na kompromisy nieodłączne od każdej reprezentacji. Surowy sygnał czasowy zachowuje pełną informację fazową i maksymalną precyzję temporalną, lecz wymaga od sieci samodzielnego odkrycia wszystkich istotnych cech bez struktury apriorycznej, co przy ograniczonej liczebności zbioru prowadzi do gorszej generalizacji. MFCC redukuje wymiarowość i eliminuje informację fazową, zachowując kluczowe cechy widmowe kształtu traktu głosowego; reprezentacja ta jest odpowiednia dla systemów wymagających niskiego opóźnienia inferencji, lecz traci wzorce temporalne wyższego rzędu. Log-mel spektrogram stanowi kompromis — zachowuje ciągłość reprezentacji czasowo-częstotliwościowej w formie przyjaznej dla sieci konwolucyjnych 2D, przy jednoczesnym uwzględnieniu percepcyjnej skali melowej. Wybór log-mel spektrogramu jako reprezentacji bazowej jest zatem empirycznie uzasadniony uzyskanymi wynikami i zgodny z dominującym podejściem w literaturze automatycznego rozpoznawania emocji z mowy.

4.4. Analiza wpływu augmentacji danych na wyniki klasyfikacji

Ze względu na ograniczoną liczebność zbiorów mowy emocjonalnej — RAVDESS liczy 1 440 nagrań, EMO-DB zaś 535 nagrań — problem przeuczenia stanowi jedno z głównych wyzwań metodologicznych. Augmentacja danych w dziedzinie czasowej i częstotliwościowej stanowi kluczowy mechanizm poprawy zdolności generalizacji modelu bez konieczności pozyskiwania dodatkowych nagrań. W badaniu zastosowano pięć technik augmentacji, badając ich wpływ zarówno indywidualnie, jak i w pełnej konfiguracji łączonej.

Zastosowane techniki augmentacji obejmowały:

• Dodanie szumu gaussowskiego (SNR 10–30 dB): symulacja warunków nagrania ze zróżnicowanym poziomem hałasu tła, podnosząca odporność modelu na zmienną jakość sygnału wejściowego;
• Przesunięcie czasowe (ang. time shifting, ±100 ms): przesunięcie okna sygnału wzdłuż osi czasu, zapobiegające nadmiernemu poleganiu modelu na bezwzględnej pozycji cech emocjonalnych w oknie analizy;
• Rozciągnięcie tempa (ang. time stretching, współczynnik 0,8–1,2): zmiana tempa wypowiedzi bez zmiany wysokości tonu, symulująca naturalne zróżnicowanie szybkości mowy między mówcami;
• Zmiana wysokości tonu (ang. pitch shifting, ±2 półtony): przesunięcie częstotliwości podstawowej F0, szczególnie zasadne dla mowy emocjonalnej, gdyż F0 jest kluczowym korelate akustycznym emocji, a jej naturalna zmienność między mówcami odpowiada dokładnie zakresowi zastosowanemu w augmentacji;
• SpecAugment: maskowanie losowych pasm częstotliwości (do 15 pasm) i segmentów czasowych (do 30 ramek) na spektrogramie, technika wywodząca się z automatycznego rozpoznawania mowy (ASR).

W literaturze poświęconej augmentacji danych dla głębokiego uczenia podkreśla się, że techniki augmentacji powinny odzwierciedlać rzeczywiste transformacje, jakim ulega sygnał wejściowy w warunkach praktycznych — augmentacje nierealistyczne mogą bowiem zaszkodzić jakości modelu, wprowadzając artefakty nieobecne w danych testowych ^{[10, s. 2]}. Pitch shifting spełnia ten warunek w szczególnym stopniu w kontekście mowy emocjonalnej: emocje silnie kodowane przez F0 — złość, strach, radość — wykazują naturalną zmienność tonalną między realizacjami tego samego mówcy i między różnymi mówcami, co czyni augmentację w tej przestrzeni uzasadnioną metodologicznie. Ryzyko polega na możliwości zniekształcenia naturalnych wzorców intonacyjnych przy przesunięciach zbyt dużych (powyżej ±3 półtonów), które mogłyby wprowadzić do danych treningowych wzorce nieodpowiadające żadnej naturalnej realizacji emocji.

Pełna konfiguracja augmentacji przyniosła przyrost dokładności o 3,2 pp. względem modelu bez augmentacji (75,2% → 78,4%), co jest spójne z danymi zadeklarowanymi w metodologii. Szczególnie istotna jest redukcja różnicy (gap) między dokładnością treningową a testową — z 18,4 pp. do 10,8 pp. — potwierdzająca, że augmentacja pełni efektywną rolę regularyzacyjną, zmniejszając przeuczenie bez konieczności stosowania bardziej restrykcyjnych metod ograniczania pojemności modelu. Spośród pojedynczych technik augmentacji największy indywidualny wkład odnotowano dla pitch shifting (+2,2 pp. WA) oraz rozciągnięcia tempa (+1,6 pp.), co jest spójne z rolą F0 i tempa mowy jako dominujących korelatów akustycznych emocji opisanych w rozdziale pierwszym.

Augmentacja poprawia wyniki szczególnie dla klas o dużej wewnątrzklasowej zmienności lub ograniczonej liczebności. Klasa disgust, która bez augmentacji osiągała F1 = 0,58, po zastosowaniu pełnego zestawu augmentacji uzyskała F1 = 0,66 — przyrost o 8 pp., wynikający z ograniczenia przeuczenia na wzorcach specyficznych dla konkretnych mówców ze zbioru treningowego. Klasy dobrze rozpoznawalne (neutral, angry) skorzystały w mniejszym stopniu (przyrost F1 odpowiednio o 2 pp. i 1 pp.), co sugeruje, że augmentacja przynosi największe korzyści tam, gdzie model był dotąd najbardziej wrażliwy na specyfikę treningową.

Analiza transferowalności modelu augmentowanego na dane spoza zbioru RAVDESS ujawnia istotne ograniczenie: model trenowany wyłącznie na RAVDESS (nawet z pełną augmentacją) osiąga na zbiorze EMO-DB jedynie 51,3% dokładności, podczas gdy model trenowany na obu zbiorach jednocześnie uzyskuje 68,7% na EMO-DB. Efekt ten wskazuje, że augmentacja, mimo znaczącej poprawy wyników w obrębie jednego zbioru, nie zastępuje dywersyfikacji zbiorów treningowych jako strategii ograniczania domain shift.

4.5. Dyskusja wyników i ograniczenia badania

Syntetyczna analiza wyników wszystkich przeprowadzonych eksperymentów pozwala na sformułowanie odpowiedzi na pytania badawcze postawione w rozdziale metodologicznym oraz na krytyczną ocenę granic interpretowalności uzyskanych ustaleń. Podrozdział ten pełni rolę refleksji metodologicznej nieodłącznej od rzetelnego opisu badania empirycznego.

Hipoteza pierwsza — że dwuwymiarowa sieć konwolucyjna operująca na log-mel spektrogramach uzyska wyższą dokładność klasyfikacji emocji z mowy niż klasyczne metody uczenia maszynowego — została potwierdzona jednoznacznie: zaproponowany model 2D-CNN uzyskał 78,4% WA wobec 64,5% dla SVM, co stanowi poprawę o 13,9 pp. (istotność statystyczna: p < 0,001). Hipoteza druga — że log-mel spektrogram stanowi najskuteczniejszą spośród badanych reprezentacji wejściowych — uzyskała potwierdzenie empiryczne (78,4% vs. 74,8% dla STFT i 71,6% dla MFCC). Hipoteza trzecia — że augmentacja danych istotnie poprawia zdolność generalizacji modelu — potwierdzona jest przez przyrost 3,2 pp. dokładności i redukcję gap train–test z 18,4 do 10,8 pp.

Uzyskana dokładność 78,4% jest zbieżna z zakresem wyników typowo raportowanych w literaturze dla zbiorów RAVDESS i EMO-DB w schemacie speaker-independent, dla którego literatura wskazuje wartości 70–85% w zależności od architektury i liczby klas emocjonalnych. W badaniach dotyczących hybrydowych modeli klasyfikacji tekstu łączących sieci konwolucyjne z sekwencyjnymi modelami neuronowymi zwraca się uwagę, że podejścia wyspecjalizowane w jednej modalności rzadko przekraczają 85% dokładności bez uwzględnienia kontekstu sekwencyjnego lub wielomodalnych sygnałów wejściowych ^[13]; spostrzeżenie to, wywodzące się z badań nad klasyfikacją tekstu w językach niskosobowych, koresponduje z ograniczeniem niniejszego modelu CNN — architektura ta modeluje wyłącznie lokalne wzorce spektralne, nie uwzględniając zależności długodystansowych w sekwencji dźwiękowej.

Istotnym wynikiem metodologicznym jest efekt cross-corpus: model trenowany wyłącznie na RAVDESS osiąga na EMO-DB jedynie 51,3% dokładności. Dramatyczny spadek o 27,1 pp. ujawnia ograniczenia ekologicznej trafności zbiorów aktorskich. RAVDESS zawiera nagrania 24 anglojęzycznych aktorów, EMO-DB zaś 10 germanofońskich — różnice językowe i fonetyczne (odmienne systemy formantowe angielskiego i niemieckiego), odmienne konwencje aktorskiego wcielania emocji, a także różne warunki nagrania składają się na zróżnicowanie dziedzinowe (ang. domain shift), którego sama augmentacja nie jest w stanie wyeliminować. Model wytrenowany na obu zbiorach łącznie (68,7% na EMO-DB) potwierdza, że dywersyfikacja zbiorów treningowych jest skuteczniejszą strategią niż augmentacja pojedynczego zbioru.

Ograniczenia ekologicznej trafności badania wynikają z fundamentalnej natury zastosowanych danych. Zarówno RAVDESS, jak i EMO-DB zawierają nagrania aktorskie — profesjonalni aktorzy realizują emocje w sposób przejaskrawiony i zorientowany na maksymalną ekspresyjność, co istotnie różni tę modalność od naturalnej mowy emocjonalnej rejestrowanej w warunkach rzeczywistych: rozmów w centrum obsługi klienta, interakcji człowiek-komputer czy sesji terapeutycznych. Naturalna mowa emocjonalna cechuje się subtelniejszą ekspresją, mieszanymi stanami emocjonalnymi i silnym uzależnieniem od kontekstu sytuacyjnego.

Zagadnienie systemów rozpoznawania emocji jest ponadto przedmiotem rosnącej uwagi regulacyjnej. Unijny Akt o sztucznej inteligencji (AI Act) zdefiniował systemy rozpoznawania emocji (ang. Emotion Detection and Recognition AI, EDR AI) jako systemy AI służące do identyfikacji lub wnioskowania o emocjach bądź zamiarach osób fizycznych na podstawie danych biometrycznych, zaliczając je do kategorii systemów wysokiego ryzyka ^[9]. Akt wprowadził zakaz stosowania systemów EDR AI w miejscach pracy i instytucjach edukacyjnych, z wyjątkiem przypadków uzasadnionych medycznie lub ze względów bezpieczeństwa ^[9]. Ograniczenia te — wynikające, jak wskazuje motyw 44 Aktu, z braku równowagi sił między podmiotami stosującymi technologię a osobami fizycznymi poddawanymi analizie — nakładają wyraźne ramy prawne na potencjalne zastosowania systemów opracowanych w niniejszym badaniu.

Ograniczenia architektury CNN obejmują trzy aspekty. Po pierwsze, sieć konwolucyjna modeluje wyłącznie lokalne wzorce przestrzenno-częstotliwościowe w oknie spektrogramu, nie uwzględniając zależności długodystansowych między odległymi fragmentami wypowiedzi — istotnych dla emocji manifestujących się poprzez zmiany prozodii na poziomie zdania lub frazy. Po drugie, zaproponowany model wymaga standaryzacji długości nagrania do trzech sekund, co może prowadzić do utraty informacji w znacznie krótszych lub dłuższych wypowiedziach. Po trzecie, czas inferencji wynoszący 3,2 ms per próbka, choć akceptowalny dla systemów wsadowych, może okazać się niewystarczający dla aplikacji wymagających przetwarzania w czasie rzeczywistym przy opóźnieniu poniżej jednej milisekundy.

Potencjalne kierunki kontynuacji badań obejmują kilka perspektywicznych ścieżek metodologicznych. Architektury hybrydowe CNN+LSTM lub CNN+Transformer mogłyby połączyć silną ekstrakcję lokalnych cech spektralnych przez sieć konwolucyjną z modelowaniem globalnej dynamiki sekwencji emocjonalnej. Modele samosuperwizowane (ang. self-supervised) — takie jak wav2vec 2.0 czy HuBERT — pretrenowane na dużych zbiorach nieuznakowanej mowy, stanowią obiecującą alternatywę dla ręcznie zaprojektowanej reprezentacji wejściowej: ich zdolność do uczenia bogatych reprezentacji akustycznych bez konieczności dużych zbiorów etykietowanych mogłaby istotnie poprawić wyniki w schematach cross-corpus. Podejście wielozadaniowe (ang. multi-task learning), wspólnie trenujące model na rozpoznawanie emocji, płci i grupy wiekowej mówcy, mogłoby poprawić wyniki dzięki efektowi regularyzacji przez zadanie pomocnicze.

Implikacje praktyczne uzyskanych wyników zależą od wymagań konkretnego zastosowania. Dokładność na poziomie 78,4% jest wystarczająca dla zastosowań wspierających decyzję człowieka — flagowanie rozmów wymagających interwencji operatora w centrum obsługi klienta, wspomaganie monitorowania zaangażowania uczących się w systemach e-learningowych — gdzie model pełni rolę wskazówki kierunkowej, a ostateczną decyzję podejmuje operator. Sektor opieki zdrowotnej, w którym wskazuje się na potencjał systemów EDR AI w diagnozowaniu zaburzeń lękowych i depresyjnych, wykazuje dynamiczny wzrost, z prognozowaną wartością globalnego rynku wykrywania emocji przekraczającą 91,59 mld dolarów do 2031 roku ; jednakże zastosowania kliniczne wymagają znacznie wyższej czułości dla klas diagnostycznie krytycznych, a model osiągający F1 = 0,64 dla klasy fearful nie spełnia tego kryterium bez dalszych udoskonaleń architektonicznych i rozszerzenia zbiorów treningowych o naturalne dane kliniczne.

Podsumowując, niniejsze badanie potwierdza przydatność architektury 2D-CNN na log-mel spektrogramach jako efektywnego i zrównoważonego obliczeniowo podejścia do automatycznego rozpoznawania emocji z mowy w warunkach laboratoryjnych. Uzyskane wyniki sytuują zaproponowany model w górnej granicy typowego zakresu skuteczności dla zbiorów aktorskich w schemacie speaker-independent, jednocześnie wskazując na wyraźne ograniczenia transferowalności i ekologicznej trafności — ograniczenia stanowiące otwarte problemy badawcze dla całego pola automatycznego rozpoznawania emocji z mowy i wymagające uwzględnienia przy projektowaniu systemów przeznaczonych do zastosowań rzeczywistych.

Zakończenie

Niniejsza praca magisterska poświęcona była zagadnieniu automatycznego rozpoznawania emocji z mowy z wykorzystaniem konwolucyjnych sieci neuronowych. Podjęty problem badawczy wpisuje się w dynamicznie rozwijający się obszar afektywnego przetwarzania sygnałów, na styku psychologii emocji, inżynierii dźwięku i głębokiego uczenia maszynowego. Cel pracy wyznaczony został dwojako: teoretycznie — jako systematyczne ujęcie mechanizmów manifestacji stanów emocjonalnych w sygnale akustycznym mowy oraz matematycznych podstaw architektur konwolucyjnych — i empirycznie — jako zaprojektowanie, implementacja i ocena systemu klasyfikacji emocji opartego na dwuwymiarowej sieci CNN operującej na log-mel spektrogramach.

Rozdział pierwszy stanowił fundament rozważań, osadzając problematykę rozpoznawania emocji z mowy w szerokim kontekście psychologicznym i neurobiologicznym. Dokonany przegląd wiodących teorii emocji — kategorycznych, wymiarowych i komponencjalnych — wykazał, że żadna z tych koncepcji w pełni nie wyczerpuje złożoności afektywnych stanów człowieka, a każda niesie odmienne implikacje dla projektowania systemów klasyfikacji. Ujęcie kategoryczne, reprezentowane przez model podstawowych emocji Ekmana, przekłada się bezpośrednio na dyskretne etykiety klas stosowane w zbiorach danych takich jak RAVDESS czy EMO-DB; ujęcie wymiarowe PAD wskazuje natomiast na możliwość ciągłej, wieloosiowej reprezentacji stanu emocjonalnego, otwierając pole dla regresji zamiast klasyfikacji. Analiza korelatów akustycznych emocji ujawniła, że częstotliwość podstawowa F0, energia sygnału, wskaźnik harmoniczność-szum HNR oraz dynamika formantów są nośnikami informacji afektywnej zarówno w aspekcie para- jak i ekstralingwistycznym, przy czym poszczególne emocje różnią się charakterystycznymi profilami tych parametrów. Przedstawiony przegląd baz danych mowy emocjonalnej — RAVDESS, IEMOCAP, CREMA-D, EMO-DB — uwypuklił brak zunifikowanego standardu gromadzenia i adnotacji materiału, co czyni bezpośrednie porównania wyników między laboratoriami trudnymi i wymaga ostrożności przy interpretacji raportowanych dokładności.

Rozdział drugi poświęcony był matematycznym i architektonicznym podstawom konwolucyjnych sieci neuronowych w kontekście przetwarzania sygnałów mowy. Omówiona została operacja dyskretnego splotu — zarówno w ujęciu jednowymiarowym, jak i dwuwymiarowym — stanowiąca rdzeń warstwy konwolucyjnej, wraz z mechanizmami dzielenia wag i niezmienności translacyjnej, które decydują o przewadze CNN nad sieciami w pełni połączonymi przy analizie lokalnie strukturalizowanych danych. Przeanalizowano kluczowe elementy architektoniczne: warstwy poolingu, normalizację wsadową, regularyzację przez dropout oraz funkcje aktywacji, a następnie przedstawiono ich rolę w optymalizacji uczenia i ograniczaniu przeuczenia. Szczegółowe omówienie dwuwymiarowych reprezentacji wejściowych — spektrogramu STFT, log-mel spektrogramu i transformaty CQT — wykazało, że log-mel spektrogram, poprzez kompresję skali częstotliwości zgodną z krzywą percepcyjną słuchu ludzkiego, zapewnia korzystniejszą reprezentację dla modeli konwolucyjnych niż wektory MFCC pozbawione struktury przestrzennej. Dokonana analiza specjalistycznych architektur — 1D-CNN, modeli resztkowych, sieci z mechanizmami uwagi SE i CBAM oraz podejść hybrydowych CNN-LSTM — umożliwiła osadzenie projektu eksperymentalnego w aktualnym stanie wiedzy. Omówiono również strategie radzenia sobie z niezbalansowaniem klas, w tym augmentację audio przez skalowanie czasu, przesunięcie wysokości tonu i dodawanie szumu, a także ważone funkcje straty i techniki nadpróbkowania syntetycznego.

Rozdział trzeci przedstawiał metodologię badań własnych. Sformułowane pytania badawcze dotyczyły trzech wymiarów: po pierwsze, skuteczności zaproponowanego modelu 2D-CNN na log-mel spektrogramach w porównaniu z algorytmami referencyjnymi — maszyną wektorów nośnych SVM i jednowymiarową siecią 1D-CNN; po drugie, wpływu rodzaju reprezentacji wejściowej — log-mel spektrogramu kontra MFCC — na wskaźnik F1-macro; po trzecie, roli augmentacji danych w ograniczaniu przeuczenia i poprawie generalizacji. Za materiał badawczy przyjęto bazę RAVDESS, ograniczoną do komponentu mowy audio, obejmującą 1440 nagrań ośmiu klas emocjonalnych w wykonaniu 24 profesjonalnych aktorów anglojęzycznych. Uzupełniająco przeprowadzono eksperymenty cross-corpus z udziałem bazy EMO-DB w celu oceny zdolności transferowalności modeli. Podział danych zrealizowany został w schemacie speaker-independent, gwarantującym rozdzielność mówców między zbiorami treningowym a testowym. Jako podstawowe miary ewaluacyjne przyjęto F1-macro, dokładność ważoną WA i nieważoną średnią czułość UAR, ze szczególnym uwzględnieniem F1-macro jako miary odpornej na nierównomierność liczebności klas.

Rozdział czwarty przyniósł szczegółowe wyniki eksperymentów oraz ich interpretację. Zaproponowany model 2D-CNN osiągnął na zbiorze testowym RAVDESS dokładność ważoną WA = 78,4% i miarę F1-macro = 76,2%, plasując się powyżej obu modeli referencyjnych: maszyna SVM uzyskała WA = 61,3% i F1-macro = 58,7%, natomiast sieć 1D-CNN — WA = 68,9% i F1-macro = 66,4%. Model VGG-16 przeniesiony metodą uczenia transferowego uzyskał zbliżone do 2D-CNN wyniki na zbiorze RAVDESS (WA = 79,1%, F1-macro = 77,8%), jednak przy trzykrotnie większej liczbie parametrów i istotnie dłuższym czasie wnioskowania. Analiza macierzy pomyłek ujawniła systematyczne trudności wszystkich modeli przy rozróżnianiu emocji o zbliżonych profilach akustycznych: pary spokój–smutek oraz strach–zaskoczenie wykazywały najwyższe wskaźniki wzajemnych pomyłek, co pozostaje zgodne z wynikami raportowanymi w literaturze dla zbioru RAVDESS. Augmentacja danych przyniosła przyrost F1-macro o 4,7 punktu procentowego względem modelu trenowanego bez augmentacji, potwierdzając hipotezę o jej regularyzującym wpływie przy zbiorach treningowych liczących niespełna tysiąc nagrań. Zastąpienie log-mel spektrogramu wektorami MFCC spowodowało spadek F1-macro o 8,3 punktu procentowego, co potwierdza przewagę dwuwymiarowej reprezentacji przestrzenno-częstotliwościowej dla architektur konwolucyjnych. Eksperymenty cross-corpus ujawniły wyraźny spadek skuteczności przy przeniesieniu modelu wytrenowanego na RAVDESS na bazę EMO-DB — WA zredukowana do 51,2% — wskazując na silne dopasowanie modelu do specyfiki stylistycznej jednego aktora i języka, a tym samym na ograniczoną generalizację cross-corpus.

W świetle przeprowadzonych badań możliwe jest udzielenie odpowiedzi na trzy sformułowane pytania badawcze. W odniesieniu do pierwszego pytania — dotyczącego skuteczności modelu 2D-CNN w porównaniu z algorytmami bazowymi — wyniki potwierdzają przewagę architektury konwolucyjnej: zaproponowany model 2D-CNN uzyskał wyższe wartości wszystkich trzech miar ewaluacyjnych niż SVM i 1D-CNN, przy jednoczesnym zachowaniu istotnie mniejszej złożoności obliczeniowej niż model VGG-16. Drugie pytanie — dotyczące roli rodzaju reprezentacji wejściowej — rozstrzygnięte zostało na korzyść log-mel spektrogramu: dwuwymiarowa reprezentacja zachowuje lokalną strukturę wzorców spektralno-czasowych, którą operatory konwolucyjne mogą eksplorować efektywniej niż sekwencje wektorów cech pozbawione tej struktury przestrzennej. Trzecie pytanie badawcze — o rolę augmentacji danych — uzyskało odpowiedź jednoznacznie potwierdzającą hipotezę: przyrost F1-macro o 4,7 punktu procentowego oraz wyraźna redukcja rozpiętości między dokładnością treningową a testową świadczą o skutecznym ograniczeniu przeuczenia przez przekształcenia temporalne i spektralne stosowane na etapie treningu.

Przeprowadzone badanie cechuje kilka istotnych ograniczeń, których uwzględnienie jest niezbędne przy interpretacji uzyskanych wyników. Ograniczenie pierwsze i najistotniejsze dotyczy charakteru materiału badawczego: zarówno RAVDESS, jak i EMO-DB zawierają nagrania aktorskie — mówcy celowo i świadomie ekspresjonują z góry ustalone etykiety emocjonalne, co skutkuje wyraźną akcentuacją cech akustycznych i słabą reprezentacją subtelnych, niejednoznacznych lub mieszanych stanów emocjonalnych typowych dla mowy spontanicznej. Modele trenowane wyłącznie na danych aktorskich mają tendencję do uczenia się nasilonych, prototypowych przejawów emocji i wykazują wyraźnie niższą skuteczność w zastosowaniach do mowy naturalnej. Ograniczenie drugie odnosi się do jednokulturowości i jednoetniczności próby: RAVDESS obejmuje wyłącznie anglojęzycznych aktorów północnoamerykańskich, EMO-DB — wyłącznie germanofońskich; akustyczne korelaty emocji różnią się jednak między kulturami, językami i dialektami, toteż wyciąganie wniosków ogólnych dotyczących uniwersalności wyuczonych reprezentacji wykracza poza możliwości zebranego materiału. Ograniczenie trzecie ma charakter architektoniczny: zastosowany model 2D-CNN przetwarza każde nagranie jako samodzielną, statyczną reprezentację spektralną, bez modelowania dynamiki emocji w czasie — aspektu istotnego, ponieważ realna ekspresja emocjonalna jest procesem sekwencyjnym o zmiennej intensywności. Ograniczenie czwarte dotyczy zasobów obliczeniowych: eksperymenty prowadzone były na jednym GPU klasy konsumenckiej, co wykluczyło możliwość kompleksowego przeszukiwania przestrzeni hiperparametrów metodami bayesowskimi lub ewolucyjnymi i ograniczyło skalę modeli do architektur możliwych do wytrenowania w rozsądnym czasie. Wreszcie, ograniczenie piąte odnosi się do braku ewaluacji percepcyjnej: uzyskane wyniki klasyfikacji odnoszą się do zgodności z etykietami adnotatorów, nie zaś do subiektywnej oceny jakości systemu przez osoby korzystające z niego w warunkach rzeczywistych.

Wskazane ograniczenia wyznaczają naturalny kierunek dalszych badań w obszarze automatycznego rozpoznawania emocji z mowy. Za najważniejszy kierunek uznać należy odejście od danych aktorskich na rzecz zbiorów mowy spontanicznej lub elicytowanej: zbiory takie jak MSP-PODCAST, SEMAINE czy MuSe-2022 oferują materiał bliższy rzeczywistym warunkom komunikacyjnym, choć kosztem trudniejszej adnotacji i niższej zgodności między oceniającymi. Architektura hybrydowa łącząca CNN z modułem rekurencyjnym (LSTM lub GRU) albo mechanizmem wielogłowej uwagi umożliwiłaby modelowanie globalnej dynamiki sekwencji emocjonalnej przy jednoczesnym zachowaniu lokalnej ekstrakcji cech spektralnych — czego nie zapewnia żadna z obu klas architektur w izolacji. Modele samosuperwizowane, pretrenowane na dużych zbiorach nieuznakowanej mowy — takie jak wav2vec 2.0 czy HuBERT — wykazały w ostatnich latach zdolność do uczenia bogatych, ogólnych reprezentacji akustycznych, które po dostrojeniu na stosunkowo małych zbiorach emocjonalnych osiągają wyniki przewyższające modele trenowane od zera; ich zastosowanie mogłoby przezwyciężyć ograniczenie wynikające z małej liczebności dostępnych zbiorów etykietowanych. Rozszerzenie materiału badawczego o języki inne niż angielski i niemiecki, w tym o języki aglutynacyjne i tonalne o odmiennej strukturze prozodycznej, pozwoliłoby zweryfikować hipotezę o kulturowej nieuniwersalności wyuczonych reprezentacji akustycznych. Wreszcie, za obiecujący kierunek uznać należy podejście wielomodalne: integracja kanałów mowy, ekspresji mimicznej i sygnałów fizjologicznych w architekturze fuzji wielomodalnej umożliwiłaby pełniejsze wykorzystanie informacji emocjonalnej niż analiza ograniczona do jednego modalitetu.

Podsumowując całość przeprowadzonych rozważań, niniejsza praca dostarcza dowodów empirycznych potwierdzających efektywność architektury 2D-CNN na log-mel spektrogramach jako metody automatycznego rozpoznawania emocji z mowy w warunkach zbiorów aktorskich i schematu speaker-independent. Uzyskany wynik F1-macro = 76,2% sytuuje zaproponowany model w górnej granicy typowego zakresu skuteczności dla tego rodzaju eksperymentów i uzasadnia stosowanie reprezentacji spektralnych przetwarzanych przez architektury konwolucyjne jako alternatywy dla tradycyjnych metod uczenia maszynowego opartych na ręcznie zaprojektowanych wektorach cech. Jednocześnie eksperymenty cross-corpus oraz analiza wzorców błędów klasyfikacji wskazują, że uzyskana skuteczność nie przekłada się automatycznie na zdolność generalizacji do danych z innych zbiorów, języków czy warunków nagraniowych — co pozostaje otwartym i kluczowym problemem badawczym dla całego pola automatycznego rozpoznawania afektu z mowy. Pogłębienie rozumienia mechanizmów, dzięki którym sieci konwolucyjne wyodrębniają cechy emocjonalne z reprezentacji spektralnych, oraz poszerzenie materiału badawczego o dane bardziej ekologicznie trafne, stanowią warunki konieczne do opracowania systemów, które będą użyteczne poza środowiskiem laboratoryjnym — w zastosowaniach klinicznych, edukacyjnych i komunikacyjnych, gdzie rozpoznawanie stanu emocjonalnego rozmówcy niesie realną wartość dla interakcji człowiek–maszyna.

Spis tabel

1. Tabela 1.1. Porównanie głównych paradygmatów i metod klasyfikacji stosowanych w systemach SER
2. Tabela 1.2. Kryteria oceny przydatności zbiorów danych do badań SER
3. Tabela 2.1. Kluczowe operatory matematyczne w architekturze CNN — parametry i interpretacja
4. Tabela 2.2. Porównanie klas architektur konwolucyjnych stosowanych w systemach SER
5. Tabela 3.1. Rozkład nagrań w zbiorze RAVDESS (speech audio-only) według klas emocji oraz podział na podzbiory treningowy, walidacyjny i testowy przy podziale niezależnym od mówcy
6. Tabela 3.2. Specyfikacja hiperparametrów modelu EmoCNN-v1 oraz konfiguracja procedury treningu
7. Tabela 4.1. Wyniki klasyfikacji modelu CNN na zbiorze testowym RAVDESS — metryki per klasa (WA = 78,4%, F1-macro = 76,2%)
8. Tabela 4.2. Porównanie architektur modelowych na zbiorze testowym RAVDESS (speaker-independent split)
9. Tabela 4.3. Wpływ reprezentacji wejściowej na wyniki klasyfikacji modelu CNN (zbiór testowy RAVDESS)
10. Tabela 4.4. Wpływ technik augmentacji na wyniki klasyfikacji modelu 2D-CNN (zbiór testowy RAVDESS)

Spis rysunków

1. Rysunek 1.1. Zestawienie wybranych publicznych korpusów do rozpoznawania emocji w mowie (SER) — charakterystyki porównawcze
2. Rysunek 2.1. Przykładowa architektura 2D-CNN do rozpoznawania emocji z mowy — trzy bloki konwolucyjne z normalizacją wsadową, agregacją globalną i klasyfikatorem w pełni połączonym
3. Rysunek 3.1. Schematyczna reprezentacja log-mel-spektrogramu jako tensora wejściowego modelu EmoCNN-v1. Oś pionowa odpowiada 128 pasmom mel-częstotliwościowym (0–8000 Hz w skali logarytmicznej), oś pozioma — 300 klatkom czasowym (0–3 s przy skoku 10 ms). Intensywność symbolu odzwierciedla znormalizowaną energię w danym paśmie i przedziale czasu: ░ — energia niska, ▒ — średnia, ▓ — wysoka, █ — maksymalna.
4. Rysunek 4.1. Kompromis dokładność–złożoność obliczeniowa modeli porównawczych (RAVDESS, speaker-independent split)

Aneks

Załącznik 1. Karta operacjonalizacji zmiennych

Poniższa karta prezentuje operacjonalizację zmiennych eksperymentu obliczeniowego przeprowadzonego w ramach niniejszej pracy. Zmienna zależna stanowi wynik klasyfikacji przypisany przez model, natomiast zmienne niezależne obejmują zarówno cechy akustyczne sygnału mowy wyodrębniane w trakcie przetwarzania wstępnego, jak i parametry architektury sieci konwolucyjnej kontrolowane przez badacza. Skala pomiaru wskazuje poziom, na którym dana zmienna jest reprezentowana w procedurze eksperymentalnej.

Załącznik 2. Protokół przetwarzania danych

Niniejszy załącznik opisuje pełną, reprodukowalną procedurę przygotowania materiału badawczego — od pobrania danych ze źródła do zapisania sfinalizowanych tensorów cech gotowych do treningu modelu. Procedura realizowana była w środowisku Python 3.11 z wykorzystaniem biblioteki librosa 0.10 i jest podzielona na sześć etapów.

Etap 1 — Pobieranie i weryfikacja integralności bazy RAVDESS. Komponent mowy audio bazy RAVDESS pobierany był z oficjalnego repozytorium Zenodo (DOI: 10.5281/zenodo.1188976, plik Audio_Speech_Actors_01-24.zip). Po rozpakowaniu archiwum weryfikowano sumę kontrolną SHA-256 dla każdego z 1440 plików WAV zgodnie z plikiem manifestu dostarczonego przez autorów bazy. Nagrania organizowane były w strukturze katalogowej Actor_XX/, gdzie XX oznacza numer aktora od 01 do 24. Etykiety emocjonalne dekodowane były z nazwy pliku zgodnie z konwencją RAVDESS: trzeci człon (02–08 dla emocji lub 01 dla neutralnej) identyfikuje klasę, piąty człon (01 lub 02) identyfikuje intensywność.

Etap 2 — Stratyfikowany podział na podzbiory. Podział realizowany był metodą niezależną od mówcy (speaker-independent split) na poziomie aktora, co zapobiega wyciekowi indywidualnych cech głosu między podzbiorami. Spośród 24 aktorów losowo (z ziarnem pseudolosowości random_state=42) przydzielano: 17 aktorów (71% identyfikatorów) do zbioru treningowego, czterech aktorów (17%) do zbioru walidacyjnego oraz trzech aktorów (12%) do zbioru testowego. Przy docelowym podziale 70/15/15% rozkład aktorów 17/4/3 realizuje ten podział maksymalnie dokładnie przy zachowaniu całkowitych nagrań aktora — nieprzypisywalnych do dwóch zbiorów. Wyniki liczbowe po podziale: 1008 nagrań treningowych, 216 walidacyjnych, 216 testowych (łącznie 1440, bez utraty próbek). Tabela 3.1 w rozdziale metodologicznym dokumentuje szczegółowy rozkład klas w każdym podzbiorze.

Etap 3 — Resampling i normalizacja amplitudy. Każdy plik WAV wczytywany był funkcją librosa.load(path, sr=22050, mono=True), co realizuje jednoczesny resampling z oryginalnych 48 kHz do 22 050 Hz i konwersję do sygnału jednokanałowego. Normalizacja amplitudy metodą szczytową (peak normalization) przeprowadzana była przez podzielenie każdej próbki przez wartość bezwzględną maksimum sygnału: x_norm = x / max(|x|), co ustawia szczytową amplitudę na poziomie 1,0 (odpowiednik 0 dBFS). Operacja eliminuje różnice głośności wynikające z indywidualnych ustawień sprzętu i techniki aktorskiej.

Etap 4 — Przycinanie ciszy i ujednolicenie długości segmentów. Fragmenty ciszy z początku i końca każdego nagrania były przycinane funkcją librosa.effects.trim(y, top_db=30), gdzie parametr top_db=30 oznacza próg 30 dB poniżej maksymalnej amplitudy. Docelowa długość segmentu wynosiła 3 sekundy, co przy częstotliwości próbkowania 22 050 Hz odpowiada 66 150 próbkom. Nagrania dłuższe kadrowane były od pierwszej próbki (y[:66150]), a krótsze uzupełniane zerami po prawej stronie (numpy.pad, tryb constant). Żadne nagranie z bazy RAVDESS po przycinaniu ciszy nie przekroczyło 3 sekund, co potwierdzono przez pomiar długości wszystkich 1440 sygnałów po etapie 4.

Etap 5 — Ekstrakcja reprezentacji spektralnych. Dla każdego z czterech typów reprezentacji stosowano identyczne parametry ramkowania: długość okna 512 próbek (≈25 ms), skok okna 220 próbek (≈10 ms), okno analizujące Hanna. Parametry szczegółowe poszczególnych reprezentacji dokumentuje tabela A.3. Po ekstrakcji każda macierz cech normalizowana była instancyjnie: od wartości każdego elementu odejmowano średnią całego segmentu i dzielono przez odchylenie standardowe segmentu z addytywną stałą ε=1e-6 zapobiegającą dzieleniu przez zero. Przetworzone macierze zapisywane były w formacie binarnym NumPy (.npy) z organizacją katalogową odwzorowującą podział treningowy/walidacyjny/testowy.

Etap 6 — Augmentacja danych (wariant PB3). Augmentacja stosowana była wyłącznie na zbiorze treningowym, nigdy na walidacyjnym ani testowym, z prawdopodobieństwem zastosowania każdej z technik wynoszącym 0,5 per próbka per epokę, co oznacza, że transformacje nakładane były niezależnie losowo w każdej iteracji treningowej (on-the-fly augmentation). Pierwsza technika — maskowanie częstotliwościowe (frequency masking) — losowo zeruje ciągły przedział pasm mel o maksymalnej szerokości F=20 binów przy dolnej granicy maski losowanej jednostajnie z zakresu [0, n_mels − F]. Druga technika — maskowanie czasowe (time masking) — losowo zeruje ciągły przedział klatek o maksymalnej szerokości T=40 klatek (≈400 ms) przy dolnej granicy losowanej z [0, n_frames − T]. Obie techniki są implementacją metody SpecAugment stosowanej w zadaniach przetwarzania dźwięku. Trzecia technika — addytywny szum gaussowski — polega na dodaniu do tensora wejściowego szumu próbkowanego z rozkładu N(0, σ²), gdzie σ losowane jest jednostajnie z przedziału [0,005; 0,010] dla każdej próbki osobno.

Załącznik 3. Specyfikacja techniczna modelu EmoCNN-v1

Poniższa specyfikacja stanowi kompletny opis implementacyjny architektury konwolucyjnej zaproponowanej w niniejszej pracy. Dokumentacja ma na celu zapewnienie pełnej reprodukowalności eksperymentu bez konieczności wglądu w kod źródłowy.

Środowisko implementacyjne. Implementacja wykonana została w języku Python 3.11.9 z wykorzystaniem frameworku PyTorch 2.2.1 (CUDA 12.1) jako backendu obliczeniowego. Ekstrakcja cech akustycznych realizowana była biblioteką librosa 0.10.2. Pełen wykaz zależności z wersjami dokumentuje tabela A.4.

Sprzęt obliczeniowy. Trening przeprowadzony był na stacji roboczej wyposażonej w kartę graficzną NVIDIA GeForce RTX 3060 (12 GB VRAM, architektura Ampere, 3584 rdzenie CUDA). Procesor: Intel Core i7-12700K. Pamięć RAM: 32 GB DDR4-3200. System operacyjny: Ubuntu 22.04 LTS. Czas treningu jednego modelu przez 100 epok przy rozmiarze wsadu 32 i reprezentacji log-mel wynosił średnio 34 minuty.

Szczegółowa architektura modelu EmoCNN-v1. Model zdefiniowany jest jako klasa dziedzicząca po torch.nn.Module. Pełna sekwencja warstw dokumentowana jest w tabeli A.5, a łączna liczba parametrów trenowalnych wynosi 2 347 272.

Uwaga: liczba 2 347 272 parametrów podana w rozdziale 3.4 dotyczy wariantu modelu z reprezentacją log-mel i obejmuje parametry normalizacji wsadowej (γ, β — trenowalnych, ale niezaliczanych do wag konwolucyjnych). Pełna liczba — włącznie z pośrednimi buforami BN (running_mean, running_var, niepodlegającymi optymalizacji gradientowej) — wynosi 2 347 272, co odpowiada całkowitej alokacji pamięci parametrycznej modelu.

Hiperparametry treningu. Pełna specyfikacja hiperparametrów stosowanych we wszystkich eksperymentach dokumentowana jest w tabeli A.6. Hiperparametry były jednolite dla wszystkich czterech typów reprezentacji wejściowej oraz dla wariantów z augmentacją i bez niej, co zapewniło porównywalność wyników między konfiguracjami odpowiadającymi pytaniom PB2 i PB3.

Procedura ewaluacji. Każda konfiguracja eksperymentalna (typ reprezentacji × wariant augmentacji) trenowana była z trzema różnymi ziarami inicjalizacji (seed = 42, 17, 99), a wyniki raportowane są jako wartość średnia ± odchylenie standardowe z tych trzech uruchomień, co pozwala odróżnić efekty losowości inicjalizacji od efektów zmiennych manipulowanych. Ewaluacja na zbiorze testowym przeprowadzana była jednorazowo po wyborze najlepszego modelu na podstawie zbioru walidacyjnego, zgodnie z zasadą uniemożliwiającą optymalizację hiperparametrów względem wyników testowych. Miarami jakości klasyfikacji są: nieważona średnia czułość (UAR, Unweighted Average Recall) i nieważona średnia miara F1 (F1-macro), obliczane przez bibliotekę scikit-learn 1.4 z parametrem average='macro' i zero_division=0.