Speech analytics – co mierzy automatyczna analiza rozmów i gdzie się myli

Speech analytics, czyli automatyczna analiza rozmów, może pomagać w wyszukiwaniu słów i tematów oraz mierzeniu ciszy czy jednoczesnego mówienia rozmówców. Nie daje jednak pewnej odpowiedzi, co człowiek czuje ani czy dobrze wykonał pracę. Dla menedżera call center jej praktyczną wartością jest wskazywanie powtarzających się problemów i nagrań wymagających odsłuchu. Przydatność trzeba ocenić na własnych rozmowach, z uwzględnieniem błędów rozpoznawania polskiej mowy i celu wykorzystania wyników.

Od nagrania do etykiety w raporcie

Typowy proces zaczyna się od pliku dźwiękowego. System rozpoznawania mowy przekształca wypowiedzi w tekst, a dalsze reguły lub modele przypisują im kategorie. Oddzielna analiza sygnału może wskazywać odcinki mowy i przerwy. Nie każdy pomiar wymaga więc transkrypcji, a nie każdy produkt oferuje wszystkie te możliwości. Zakres obsługi języka polskiego oraz sposób przetwarzania trzeba potwierdzić dla konkretnego rozwiązania.

Jeżeli głosy zapisano na osobnych kanałach, łatwiej analizować wypowiedzi każdej strony oddzielnie. Przy wspólnym nagraniu przypisanie fragmentów do rozmówców jest dodatkowym zadaniem i może zawierać błędy. Rozdzielenie wypowiedzi na głos pierwszy i drugi nie jest jeszcze ustaleniem tożsamości człowieka. Nie należy utożsamiać go z identyfikacją biometryczną.

Każdy etap wpływa na następny. Błędnie zapisane słowo może spowodować niewykrycie reklamacji, a pomylenie rozmówców – przypisanie konsultantowi wypowiedzi klienta. Dlatego użyteczny raport powinien pozwalać sprawdzić, skąd wzięła się dana etykieta: z jakiej wypowiedzi, którego fragmentu nagrania i jakiej reguły. Sama liczba na wykresie nie wyjaśnia przyczyny problemu.

Co można mierzyć, a co wymaga interpretacji

Przed porównaniem ofert określ, jakiego wyniku potrzebuje firma. Wyszukanie rozmów o opóźnionej przesyłce to inne zadanie niż sprawdzenie, czy konsultant podał klientowi wymagane informacje. Nawet podobnie nazwane wskaźniki mogą mieć różne definicje.

• Słowa i zwroty. Wyszukiwanie pomaga znaleźć wzmianki o rezygnacji, reklamacji lub terminie. Trzeba jednak uwzględnić odmianę słów, synonimy oraz przeczenia. Wypowiedź o braku reklamacji nie powinna automatycznie oznaczać zgłoszenia reklamacyjnego.
• Cisza. Długość przerw może wskazać miejsca do odsłuchu. Sama przerwa nie wyjaśnia, czy konsultant szukał informacji, klient sprawdzał dokument, czy wystąpił problem techniczny. Ustal, jak traktować oczekiwanie na połączenie i muzykę.
• Nakładanie się głosów. Jednoczesna mowa bywa skutkiem przerwania wypowiedzi, ale także krótkiego potwierdzenia albo opóźnienia transmisji. Wykryty odcinek nie jest automatycznie dowodem nieuprzejmości.
• Powody kontaktu. Przypisywanie kategorii pozwala obserwować, jakie sprawy powracają. Jedna rozmowa może jednak dotyczyć kilku problemów; wymuszenie jednej etykiety zniekształci obraz.

Raport wymaga też jasnego mianownika. Udział rozmów z wykrytą reklamacją wśród poprawnie przetworzonych plików może różnić się od udziału w całym ruchu. Jeśli odrzucone nagrania mają słabszy dźwięk, wynik może pomijać właśnie trudniejsze połączenia. W zestawieniach pokazuj liczbę nagrań przeanalizowanych, pominiętych i oznaczonych jako niepewne.

Analityka mowy w języku polskim: sprawdź więcej niż transkrypcję

Polskie wyrazy występują w wielu formach. Prosta lista słów może nie połączyć wypowiedzi o fakturze z wypowiedzią o fakturach. Dochodzą skróty branżowe, nazwy produktów, liczby, regionalna wymowa i potoczne określenia tej samej sprawy. W pilotażu uwzględnij te warianty zamiast ograniczać próbkę do starannych, krótkich wypowiedzi.

Znaczenie ma również jakość dźwięku telefonicznego: szum, echo, urwane fragmenty oraz nierówny poziom głośności utrudniają rozpoznawanie. Czytelny tekst może mimo to zawierać błędną kwotę lub zgubione przeczenie. Płynność transkrypcji nie jest wystarczającym kryterium jakości analizy.

Oceniaj osobno poprawność zapisu i przydatność wyniku biznesowego. Kilka pomylonych końcówek może nie przeszkodzić w określeniu tematu, lecz jedno błędne słowo może zmienić sens deklaracji klienta. Dla wyszukiwania reklamacji ważniejsze od ogólnej obietnicy wysokiej dokładności jest to, ile rzeczywistych reklamacji system znalazł i ile jego wskazań było nietrafnych.

Emocje: ograniczenia techniczne i zakaz w miejscu pracy

Podniesiony głos nie przesądza o złości, a spokojny ton o zadowoleniu. Motyw 44 AI Act wskazuje problemy z wiarygodnością rozpoznawania emocji oraz z przenoszeniem wyników między osobami i sytuacjami. Menedżer powinien odróżniać obserwację dźwięku od wniosku o stanie psychicznym rozmówcy.

W definicji zawartej w art. 3 pkt 39 AI Act kluczowe są dane biometryczne: system AI wykorzystuje je, aby rozpoznać emocje lub zamiary człowieka albo wyciągać o nich wnioski. Motyw 18 wyjaśnia, że samo wykrycie cechy głosu, takiej jak podniesiony ton lub szept, nie należy do tego pojęcia, chyba że służy identyfikacji emocji lub wnioskowaniu o nich. Liczenie wystąpień słowa w transkrypcji również nie jest samo w sobie takim rozpoznawaniem.

Od 2 lutego 2025 r. stosuje się już zakazy AI Act. Wynika to z art. 113 lit. a), który obejmuje rozdziały I i II. Art. 5 ust. 1 lit. f) zakazuje wprowadzania do obrotu, oddawania do użytku w tym celu i wykorzystywania systemów AI do wnioskowania o emocjach osób w miejscu pracy lub instytucjach edukacyjnych. Przewiduje wyjątki ze względów medycznych lub bezpieczeństwa. Zwykła ocena jakości obsługi nie jest takim wyjątkiem.

Wdrożenie oceny emocji konsultantów na podstawie cech głosu wymaga zatem uwzględnienia już stosowanego zakazu. Nazwanie funkcji wskaźnikiem zaangażowania nie zmienia jej działania. Z kolei etykietowanie treści skargi nie staje się automatycznie zakazane tylko dlatego, że dotyczy niezadowolenia. Liczą się dane wejściowe, cel i sposób wyciągania wniosków. AI Act ma etapowy harmonogram stosowania; późniejsze terminy pozostałych obowiązków nie odraczają tego zakazu.

RODO: raport, decyzja i ocena skutków to różne kwestie

Art. 22 ust. 1 RODO dotyczy decyzji opartych wyłącznie na zautomatyzowanym przetwarzaniu, które powodują skutki prawne lub podobnie istotnie wpływają na osobę. Nie oznacza zakazu każdego automatycznego zestawienia. Inne znaczenie ma zbiorcza statystyka tematów połączeń, a inne automatyczny wynik decydujący o istotnych konsekwencjach dla konkretnego pracownika.

Art. 22 ust. 2 RODO przewiduje wyjątki: niezbędność decyzji do zawarcia lub wykonania umowy, upoważnienie w odpowiednich przepisach prawa albo wyraźną zgodę osoby. Nie są one ogólnym zezwoleniem na ocenianie ludzi algorytmem. W przypadkach związanych z umową i wyraźną zgodą art. 22 ust. 3 RODO wymaga zabezpieczeń obejmujących co najmniej interwencję człowieka, możliwość przedstawienia własnego stanowiska i zakwestionowania decyzji. Art. 22 ust. 4 RODO dodatkowo ogranicza korzystanie przy takich decyzjach ze szczególnych kategorii danych.

Niezależnie od tego trzeba rozważyć ocenę skutków dla ochrony danych. Art. 35 ust. 1 RODO wymaga jej przed rozpoczęciem przetwarzania, gdy prawdopodobne jest wysokie ryzyko dla praw lub wolności osób. Art. 35 ust. 3 lit. a) wskazuje w szczególności kompleksową, systematyczną ocenę czynników osobowych opartą na automatycznym przetwarzaniu i stanowiącą podstawę istotnych decyzji. Nie każda analiza rozmów spełnia te warunki, ale nazwanie przedsięwzięcia pilotażem nie usuwa obowiązku oceny ryzyka.

Jak przeprowadzić pilotaż, który daje użyteczną odpowiedź

1. Wybierz wąski cel. Przykładem jest wyszukiwanie kontaktów dotyczących błędnej faktury. Zapisz, jakie sytuacje zaliczasz do tej kategorii i jak postępować z rozmowami wielotematycznymi.
2. Przygotuj zróżnicowaną próbkę. Uwzględnij różne zespoły, pory, długości połączeń i jakość dźwięku. Dobór samych wyraźnych nagrań da mylący obraz.
3. Ustal punkt odniesienia. Niech dwóch oceniających niezależnie oznaczy te same rozmowy według wspólnych kryteriów. Rozbieżności wyjaśnij przed porównaniem z systemem.
4. Oddziel strojenie od oceny. Część nagrań wykorzystaj do dopracowania kategorii, a pozostałe zachowaj do sprawdzenia wyniku. Nie oceniaj skuteczności wyłącznie na przykładach użytych do konfiguracji.
5. Policz trafienia i przeoczenia. Jeżeli system wskazał 100 rozmów, z których 80 rzeczywiście spełnia kryterium, trafność wskazań wynosi 80%. Jeśli wszystkich pasujących rozmów było 160, wykrył połowę. To dwa różne wyniki tego samego przykładu.
6. Sprawdź koszt obsługi błędów. Zmierz czas potrzebny na weryfikację alertów, poprawianie kategorii i odsłuch. Ustal akceptowalne progi przed poznaniem rezultatów.

Jeszcze przed użyciem nagrań opisz cel, zakres danych, dostęp do wyników i czas ich przechowywania. Jeżeli wymagana jest ocena skutków, art. 35 ust. 7 RODO określa jej elementy, w tym niezbędność i proporcjonalność operacji, ryzyka oraz zabezpieczenia. Zgodnie z art. 35 ust. 2 RODO konsultuje się ją z inspektorem ochrony danych, jeśli został wyznaczony.

Po pilotażu decyzję oprzyj na konkretnym zastosowaniu: czy analiza pomaga znaleźć problem i czy zespół potrafi zweryfikować jej wskazania. Wynik powinien prowadzić do fragmentu rozmowy, który można sprawdzić. To pozwala wykorzystać skalę automatycznego przeglądu bez traktowania każdej etykiety jako ustalonego faktu.

Źródła

• Rozporządzenie Parlamentu Europejskiego i Rady (UE) 2016/679 z dnia 27 kwietnia 2016 r. (RODO), Dz.Urz. UE L 119 z 4.05.2016, s. 1 – art. 22: zautomatyzowane podejmowanie decyzji w indywidualnych przypadkach.
• Rozporządzenie Parlamentu Europejskiego i Rady (UE) 2016/679 z dnia 27 kwietnia 2016 r. (RODO), Dz.Urz. UE L 119 z 4.05.2016, s. 1 – art. 35: ocena skutków dla ochrony danych.
• Rozporządzenie Parlamentu Europejskiego i Rady (UE) 2024/1689 z dnia 13 czerwca 2024 r. (akt w sprawie sztucznej inteligencji), Dz.Urz. UE L, 2024/1689 z 12.07.2024 – motywy 18 i 44, art. 3 pkt 39, art. 5 ust. 1 lit. f), art. 113 lit. a).

Zdjęcie: MrChrome at English Wikipedia, CC BY 3.0 (creativecommons.org/licenses/by/3.0/), Wikimedia Commons, commons.wikimedia.org/wiki/File:Office_Worker_with_Two_Monitors.JPG