Zespół proponuje dodatkowy budżet, żeby zwiększyć skuteczność systemu AI z 95% do 99%. Cztery punkty procentowe wyglądają jak wyraźna poprawa. Ale czy firma rzeczywiście odczuje różnicę?
Jeśli pozostałe pomyłki można tanio poprawić, dalsze doskonalenie systemu może kosztować więcej, niż pozwoli zaoszczędzić. Jeśli jednak błąd oznacza przeoczony termin umowny, karę lub utratę klienta, nawet 99% może być niewystarczające.
Przed zatwierdzeniem wydatków trzeba wiedzieć nie tylko, jak często AI się myli, ale też jakie są to błędy i co kosztują. A wcześniej ustalić, co dokładnie oznacza podany procent skuteczności.
Ten sam wynik, trzy różne procenty
Weźmy hipotetyczny przykład czterech dokumentów. W każdym opisano dziesięć przyszłych wydarzeń. System powinien więc odnaleźć łącznie 40 wydarzeń wraz z prawidłowymi datami.
W pierwszym dokumencie rozpoznaje wszystkie dziesięć. W drugim pomija jedno. W trzecim znajduje dziewięć prawdziwych wydarzeń, ale dodaje też jedno nieistniejące. W czwartym znajduje wszystkie dziesięć i dopisuje dwa fałszywe.
Możemy uczciwie przedstawić trzy wyniki:
- 95% prawdziwych wydarzeń zostało odnalezionych poprawnie: 38 z 40
- 92,7% wydarzeń wygenerowanych przez system jest poprawnych: 38 z 41
- 25% dokumentów przetworzono całkowicie bez błędu: jeden z czterech
Żadna z tych liczb nie jest sama w sobie fałszywa. Każda odpowiada na inne pytanie. Problem zaczyna się wtedy, gdy firma wybiera jedną i nazywa ją po prostu „skutecznością AI”, bez wyjaśnienia, co mierzy.
Jeśli człowiek używa wygenerowanej listy do dalszego sprawdzania terminów, dodatkowe wydarzenia mogą oznaczać przede wszystkim czas stracony na ich odrzucenie. Jeśli lista automatycznie uruchamia zadania, te same pomyłki mogą powodować realne koszty operacyjne. Przeoczenie prawdziwego terminu również ma inną wagę w roboczym zestawieniu, a inną tam, gdzie grozi niedotrzymaniem zobowiązania.
Ocena poprawności opisuje zachowanie systemu. Ocena biznesowa mówi, co to zachowanie oznacza dla firmy.
Nie ma jednej ceny „błędu AI”
Zanim firma zacznie poprawiać model, powinna rozdzielić pomyłki na takie, które prowadzą do różnych konsekwencji. W praktyce trzeba ustalić przynajmniej trzy rzeczy.
Po pierwsze, co dzieje się po błędzie. Czy wystarczy poprawić etykietę dokumentu, czy błąd wpływa na dalsze działania, kontakt z klientem albo ważny termin?
Po drugie, czy błąd zostanie wykryty, zanim zaszkodzi. Pomyłka wychwycona przez kontrolę może kosztować kilka minut pracy. Ta sama pomyłka, która przejdzie niezauważona, może wymagać odkręcania decyzji podjętej na błędnych danych.
Po trzecie, czy ograniczenie jednej kategorii błędów nie pogarsza innej. System może lepiej radzić sobie ze zwykłymi przypadkami, a jednocześnie częściej mylić się w rzadkich, kosztownych sytuacjach. Wyższy średni procent poprawności nie daje gwarancji poprawy właśnie tam, gdzie firmie zależy na niej najbardziej.
Dopiero z takim rozróżnieniem warto rozmawiać o pieniądzach. Nie zawsze uda się precyzyjnie wycenić konsekwencje, ale nawet przedział kosztów lub wskazanie błędów niedopuszczalnych jest lepsze niż założenie, że każda pomyłka kosztuje tyle samo.
Ile naprawdę warta jest poprawa z 95% do 99%?
Przyjmijmy teraz osobny, w pełni hipotetyczny przykład. Firma co miesiąc klasyfikuje 10 000 dokumentów. Każdemu przypisuje jedną kategorię. Obecny system klasyfikuje poprawnie 95% dokumentów, a proponowane ulepszenie ma zwiększyć ten wynik do 99%, przy tej samej definicji poprawności.
Przy 95% firma otrzymuje 500 błędnych etykiet miesięcznie. Przy 99% byłoby ich 100. Różnica wynosi 400 pomyłek.
Załóżmy dodatkowo, że firma ma już proces weryfikacji wszystkich etykiet. Na potrzeby tego uproszczonego rachunku przyjmijmy, że kontrola wykrywa każdą pomyłkę, a sprawdzenie gotowej etykiety wymaga mniej pracy niż samodzielne zaklasyfikowanie dokumentu od początku. Nakład kontroli pozostaje taki sam przy 95% i 99%. Samo poprawienie znalezionej pomyłki kosztuje 5 zł.
W takim wariancie miesięczny koszt korekt spadłby z 2500 zł do 500 zł. Oszczędność wynosi 2000 zł miesięcznie.
Jeżeli osiągnięcie i utrzymanie jakości 99% kosztuje dodatkowo 3000 zł miesięcznie, nie opłaca się z samych oszczędności na korektach. Jeżeli kosztuje 1000 zł, rachunek wypada inaczej. To nie jest jednak jeszcze pełna ocena rozwiązania. O tym, jak liczyć opłacalność całej automatyzacji, pisaliśmy osobno.
W tym przykładzie nie oszczędzamy nic na samej kontroli, ponieważ nadal sprawdzamy wszystkie dokumenty. Założyliśmy też, że wszystkie błędy są wykrywane i żaden nie powoduje dalszych strat. W rzeczywistej firmie te warunki mogą nie być spełnione.
Nie chodzi o to, że 99% jest gorsze od 95%. Chodzi o to, że dodatkowe cztery punkty procentowe mogą kosztować więcej, niż są warte w danym procesie.
Kiedy ten rachunek prowadzi do złej decyzji?
Wystarczy zmienić jedno założenie: część błędnych etykiet przechodzi przez kontrolę niezauważona. Wtedy oszczędność na poprawkach jest tylko częścią wartości lepszego systemu. Trzeba dodać konsekwencje pomyłek, które zostały wykorzystane dalej.
Podobnie będzie, jeśli poprawa z 95% do 99% umożliwi rzeczywiste ograniczenie nakładu kontroli. Wówczas pojawia się dodatkowa korzyść. Nie można jej jednak dopisać do rachunku z góry, jeśli firma nadal musi sprawdzać wszystkie dokumenty.
Trzeba też uważać na średnie. Możliwa jest sytuacja, w której nowszy model popełnia mniej błędów łącznie, ale więcej w niewielkiej grupie spraw o szczególnie poważnych konsekwencjach. W takim przypadku sam wzrost skuteczności może prowadzić do błędnej decyzji zakupowej.
Przy 10 000 dokumentów miesięcznie nawet 99% poprawności oznacza 100 błędnych klasyfikacji. Jeżeli choć część z nich może spowodować przeoczenie terminu umownego, opóźnienie zlecenia lub utratę ważnego klienta, sam wynik 99% nie wystarcza, żeby zgodzić się na obsługę bez dodatkowych zabezpieczeń. Trzeba sprawdzić, w jakich dokumentach pojawiają się pozostałe błędy i czy można je wychwycić przed powstaniem szkody.
Nie wszystkie konsekwencje błędu da się jednak sprowadzić do kosztu jego poprawienia. Pomyłka, która przejdzie niezauważona, może oznaczać opóźnienie realizacji, karę umowną, utraconego klienta albo szkodę wizerunkową. Jeżeli takich strat nie da się skutecznie ograniczyć, niski średni koszt korekt nie uzasadnia pełnej automatyzacji.
Zamiast poprawiać model, można zmienić sposób pracy
Gdy obecny system popełnia błędy, nie zawsze najlepszą odpowiedzią jest droższy model albo kolejne miesiące jego dostrajania.
Czasem bardziej opłaca się automatycznie obsługiwać sprawy typowe, a nietypowe kierować do człowieka. Innym razem wystarczy utrzymać dotychczasowy model i poprawić kontrolę wyników przed ich wykorzystaniem. Taki proces może osiągać dobry rezultat końcowy bez wymuszania, by AI samodzielnie rozwiązywała każdą sprawę.
Ale przeniesienie pracy na człowieka nie jest bezpłatne. Ktoś musi rozpoznać przypadki wymagające kontroli, sprawdzić je i podjąć decyzję. Człowiek też może popełnić błąd, zwłaszcza gdy bezkrytycznie ufa wskazaniu systemu.
Dlatego przy rozwiązaniu łączącym AI i pracę ludzi warto mierzyć nie tylko poprawność automatycznych odpowiedzi, lecz także ile spraw system rzeczywiście obsługuje samodzielnie, ile trafia do weryfikacji i jaki jest wynik całego procesu.
Cztery decyzje, które może podjąć CEO
Przed zatwierdzeniem kolejnych wydatków na poprawę jakości AI warto poprosić zespół o zestawienie obecnego wariantu z proponowanym: na tym samym rodzaju spraw, przy porównywalnym wolumenie i w tym samym okresie.
Niech pokaże, które błędy mają zniknąć, które pozostaną, jak je wykrywamy oraz ile kosztuje zarówno ich obsługa, jak i ulepszenie systemu. Jeśli nie znamy jednej kluczowej liczby, na przykład odsetka niewykrytych pomyłek, najpierw warto ustalić, czy jej poznanie może zmienić decyzję.
Na tej podstawie są cztery rozsądne możliwości:
- Poprawiać dalej, jeżeli zmiana ogranicza istotne błędy, a wartość uzyskanej poprawy uzasadnia dodatkowe koszty
- Utrzymać obecny poziom z kontrolą, jeżeli pozostałe pomyłki można odpowiednio wcześnie i skutecznie wychwycić, a dalsza poprawa jest droższa niż ich obsługa
- Ograniczyć zakres automatyzacji, jeżeli system dobrze obsługuje zwykłe przypadki, ale nie powinien samodzielnie rozstrzygać części spraw
- Wstrzymać automatyczne decyzje, jeżeli mimo zabezpieczeń pozostaje ryzyko, którego firma nie może zaakceptować
Najwyższa możliwa skuteczność nie zawsze jest najlepszym celem inwestycyjnym. Przed zapłaceniem za kolejne punkty procentowe trzeba wiedzieć, jakie konkretnie błędy dzięki nim znikną i co ta zmiana da firmie.
A gdy raport z testów pokazuje 1000 prób i zero błędów? Czego taki wynik naprawdę dowodzi, wyjaśnia następna część.