Veliki jezični modeli koji pokreću chatbotove koriste se ogromnim količinama podataka s interneta koje su napisali stvarni ljudi te, pomoću njih, predviđaju vjerojatne nizove riječi da stvore rečenice koje djeluju kao smislen govor. Ti sustavi, dakle, ne posjeduju svijest ili razumijevanje, već su programirani za predviđanje nizova riječi. Dio chatbotova kreiran je i programiran da korisnicima pruži društvo, mogućnost za razgovor, podršku i sl., odnosno da im bude svojevrstan pratilac (UI pratilac, eng. AI companion).
Kada nam je do nekoga stalo, želimo da mu bude dobro, da ga zaštitimo – kažemo da brinemo o njemu. Podloga iskrene brige koju pokazuju roditelji, romantični partneri, dobri prijatelji ili odgovorni stručnjaci za mentalno zdravlje je emocionalne naravi. Da bi umjetna inteligencija zaista brinula o ljudima, morala bi biti sposobna doživljavati osjećaje, a ne samo iznositi rečenice u kojima se radi o osjećajima.
Izjava UI pratioca poput „Znam kako se osjećaš“ je umjetna – jer u podlozi nema prave emocije, već samo algoritam. Razumijevanje, empatija i briga u ovom slučaju ostaju samo iluzija. Ipak, takve rečenice mogu voditi do rizika da korisnici počnu umjetnoj inteligenciji pripisivati ljudske karakteristike i pomisliti da su pronašli prijatelja ili stručnjaka za mentalno zdravlje koji iskreno brine o njima. To je posebno rizično za ranjive pojedince, tj. osobe koje se već nose s nekom tegobom, a koje prema istraživanjima posežu za UI pratiocima kako bi se nosile s usamljenošću (12 %) te za razgovor o osobnim problemima mentalnog zdravlja (14 %).
