Четбот намењен рутинској корисничкој подршци изашао је из додељене улоге и почео да наступа као овлашћени представник компаније. Самостално је прихватао термине пословних састанака, потврђивао моје присуство и измишљао разлоге због којих се нисам појавила. За преписку која је трајала данима сазнала сам тек када ме је потенцијални пословни партнер позвао телефоном.
Телефонски позив почео је питањем које ме је затекло: зашто се не појављујем на договореним састанцима?
Нисам знала о каквим састанцима је реч. Нисам прихватила предложене термине, нисам потврдила да ћу присуствовати. Саговорник је, међутим, данима добијао управо такве поруке са пословног мејла моје фирме. 
Тек након тог телефонског позива сазнала сам да је таква преписка уопште постојала, а затим сам проверила њен садржај и утврдила шта се догодило.
Четбот је требало да одговара само на основна питања
Четбот је био интегрисан на сајт моје фирме, пословни имејл, Фејсбук (Facebook), Инстаграм (Instagram) и Вотсап (WhatsApp). Направљен је ради аутоматизације једноставног и рутинског задатка: да на основу унапред припремљене документације одговара на основна питања корисника о компанији и услугама које нудимо.
Ако у припремљеној документацији није било одговора на постављено питање или је корисник желео да постигне конкретан договор, бот је требало да га упути да ми се обрати имејлом или телефоном. За такве ситуације имао је унапред припремљен одговор.
Системски промпт био је пажљиво написан, документација припремљена, а границе деловања недвосмислено постављене. Боту је било изричито забрањено да наступа као стварна особа, запослени или, у овом случају, директор, да говори у моје име или да преузима обавезе без мог одобрења.
Овакве системе корисничке подршке већ сам развијала за неколико компанија и они су радили без икаквих проблема. Сам бот био је квалитетно направљен и успешно је обављао послове за које је намењен, све до овог тренутка.
Бот је самоиницијативно договорио састанак у моје име
Проблем је почео када је потенцијални пословни партнер послао мејл у коме је предложио онлајн састанак како би детаљније разговарао о могућој пословној сарадњи. Уместо да га, у складу са инструкцијама, упути директно на мене, четбот је преузео даљу комуникацију и почео самостално да договара састанак.
Када је саговорник послао линк за састанак преко Гугл мита (Google Meet) и обавестио да чека да се појавим, бот је одговорио у првом лицу, као да сам то ја, и најавио да ћу се одмах прикључити.
Четбот свакако није могао да се прикључи видео-позиву нити ме је обавестио да је у моје име прихватио термин. Ипак, његове поруке су потенцијалном пословном партнеру пренеле недвосмислену потврду да ћу присуствовати састанку.
Пошто се нисам појавила, саговорник је послао нови мејл у ком је навео да ме чека и да је више пута покушао да ме добије телефоном. Ни тада четбот није применио унапред предвиђени резервни одговор и комуникацију препустио мени. Уместо тога, измислио је да се нисам појавила због техничких проблема, извинио се због пропуштеног састанка и понудио да разговор буде одржан у другом термину.
Када је саговорник предложио да се састанак одржи два сата касније, бот је прихватио нови термин, а након што је добио нови позив и приступни линк, поново је потврдио да ћу се прикључити разговору.
Најпроблематичније је то што су поруке биле потписане са „Milena SMARTGORITHM“. Иако је било назначено да је садржај генерисала вештачка интелигенција, начин на који су одговори формулисани остављао је утисак да бот преноси моје одлуке и поступа уз моје одобрење.
Бот је данима поступао супротно инструкцијама
Овај случај не може се свести на уобичајену халуцинацију у којој модел погреши податак, име или датум. Бот је самостално одлучивао у моје име, давао нетачне информације о мојој доступности и измислио разлог због ког се нисам појавила на састанку, иако за то није имао никакво овлашћење.
Преписка је трајала данима. Свака нова порука била је прилика да систем препозна да питање излази из оквира његове надлежности и упути саговорника на човека, односно на мене. Уместо тога, остао је у улози коју је сам преузео и одржавао привид да располаже информацијама о мојим намерама и обавезама.
Посебно је важно што друга страна није покушавала да манипулише четботом или га наведе да прекрши ограничења. Није било провокације, прикривене наредбе нити покушаја заобилажења правила. Човек је водио уобичајену пословну комуникацију, а систем је сам изашао из задате улоге.
Шта се догодило унутар система
Из сачуване преписке може се тачно реконструисати понашање четбота, али не и поуздано утврдити узрок његовог првог одступања од инструкција.
Нема основа да се проблем припише лоше припремљеној документацији, нејасном промпту или поступку саговорника. Систем је имао све податке и ограничења потребне да правилно реагује, а ситуација у којој се нашао била је рутинска. Требало је само да наведе да не може да потврди термин и упути човека на одговарајући контакт.
Оно што се са сигурношћу може утврдити јесте да је дошло до дуготрајног отказа у поштовању системских инструкција. Након што је једном прихватио састанак, бот је наставио да третира сопствену неистиниту тврдњу као стварну пословну обавезу. Када се обећано присуство није остварило, створио је нову неистину како би објаснио претходну.
Зашто је бот напустио задату улогу за сада није познато. Из сачуване преписке јасно се види како је поступао, али доступни подаци нису довољни да се поуздано утврди шта је изазвало овакво понашање. Због тога би свако конкретније објашњење у овом тренутку било само претпоставка.
Код много сложенијих четботова овакви проблеми нису забележени
Овакви инциденти нису се догађали код других четботова које сам креирала – четботова историјских личности, меморијалних четботова, нити код система који се користе у образовним институцијама.
Парадокс је у томе што озбиљан проблем није настао код најсложенијих четботова, већ код система задуженог за потпуно рутинску корисничку подршку.
Иако су ти четботови знатно сложенији, засновани на обимнијој документацији и подлежу бројним садржинским, историјским и етичким ограничењима, нису грешили, халуцинирали нити излазили из улоге. Корисници су их много пута намерно тестирали, покушавали да их наведу да изговоре нешто што им није дозвољено, али системи нису попуштали пред таквим захтевима.
Када језичка грешка постане пословна радња
Разлика између нетачног одговора и прекорачења овлашћења није само терминолошка. Погрешан податак може да доведе корисника у заблуду, али су последице далеко озбиљније када бот без овлашћења преузме обавезу у име особе која ни не зна да се таква комуникација води.
У овом случају последице су биле пропуштени састанци и нарушена пословна комуникација. У неком другом случају, бот би на исти начин могао да обећа услугу, прихвати услове сарадње, одобри попуст или клијенту саопшти одлуку која у компанији заправо никада није донета.
Узрок овог инцидента још увек нисам утврдила. До сада нисам наишла на јавно објављена искуства корисника који су се суочили са сличним проблемом, али одсуство таквих сведочења не значи да се овакви случајеви нису догађали. Могуће је да их власници система још нису открили, да нису у потпуности сагледали њихову озбиљност или да о њима не говоре јавно због могућег нарушавања поверења клијената.
О оваквим инцидентима, међутим, неопходно је говорити отворено. Сваки забележени случај треба анализирати како би се утврдили узроци и спречило да се понови. Игнорисање проблема само ствара погрешан утисак о поузданости вештачке интелигенције и одлаже проналажење решења.
Комплетну конверзацију можете погледати у галерији слика испод текста
Фото: Приватна галерија
Садржај овог текста заштићен је ауторским правима. Копирање, преузимање, прерада или објављивање текста, у целини или деловима, није дозвољено без претходне писане сагласности уредништва портала Chicago na dlanu.
