Una IA pot respondre amb empatia sense tenir cap responsabilitat sobre la persona que té al davant. Quan entra en espais de suport, ja no parlem d’una eina: parlem de deure de cura.
No tot ús conversacional és igual
Un dels punts més delicats del debat actual sobre bots conversacionals apareix quan una eina entra en espais de suport emocional, orientació social, educació, salut mental o acompanyament a persones en situació de vulnerabilitat. Diversos marcs ja situen els bots companys d’IA en el terreny de la salut pública, i la recerca apunta que els xatbots generalistes s’estan fent servir com a suport psicològic a una escala significativa, mentre la regulació continua arribant a trossos.
Aleshores la qüestió no és si el xatbot sona proper. La qüestió és qui posa límits, qui supervisa, qui detecta risc i qui respon quan la conversa deixa de ser informativa i passa a ser assistencial. I el primer aprenentatge per a les entitats socials és que no tot ús conversacional té el mateix pes. Un assistent per resumir documents interns no comporta el mateix risc que una eina que orienta una persona en un moment de fragilitat. Tractar-los igual és el primer error de governança.
Qui assumeix el deure de cura
De tot això se’n deriva una primera regla pràctica: no s’hauria d’introduir cap bot d’acompanyament en contextos amb infants, adolescents o persones en situació de vulnerabilitat. Cal supervisió humana definida, criteris d’escalat i límits d’ús explícits. La frontera entre informar i acompanyar és fina, i una eina no la veu.
La governança aquí no pot ser només legal o tècnica. En serveis socials, educatius o comunitaris cal incorporar el criteri professional. Cal decidir què es pot automatitzar, què s’ha de derivar i què no s’hauria de delegar mai. Aquesta frontera la dibuixa l’equip que coneix les persones, no el catàleg comercial del proveïdor.
I la confiança no es construeix amb una etiqueta que digui contingut generat per IA. Es construeix amb protocols, supervisió humana, vies de reclamació i una decisió prèvia sobre els límits de l’eina. Si un proveïdor promet companyia, suport o benestar, la diligència deguda ha d’anar més enllà de la demostració comercial. Cal revisar manipulació emocional, tractament de dades, incentius de retenció i protecció de menors.
En serveis sensibles, una interfície amable no és cap garantia ètica: un to proper pot generar confiança sense que hi hagi cap responsabilitat darrere. La pregunta estratègica no és si podem activar aquest bot, sinó si tenim prou governança per cuidar les conseqüències del que pot provocar. La teniu?
✳ Aquest article s’ha elaborat amb suport d’IA generativa. Revisió i responsabilitat editorial: Enric Guinart Mauri. Més informació →
