Una IA puede responder con empatía sin tener ninguna responsabilidad sobre la persona que tiene delante. Cuando entra en espacios de soporte, ya no hablamos de una herramienta: hablamos de deber de cuidado.
No todo uso conversacional es igual
Uno de los puntos más delicados del debate actual sobre botes conversacionales aparece cuando una herramienta entra en espacios de apoyo emocional , orientación social, educación, salud mental o acompañamiento a personas en situación de vulnerabilidad. Varios marcos ya sitúan a los botes compañeros de IA en el terreno de la salud pública , y la investigación apunta a que los chatbots generalistas se están utilizando como apoyo psicológico a una escala significativa, mientras la regulación sigue llegando a pedazos.
Entonces la cuestión no es si el chatbot suena cercano. La cuestión es quien pone límites, quien supervisa, quien detecta riesgo y quien responde cuando la conversación deja de ser informativa y pasa a ser asistencial. Y el primer aprendizaje para las entidades sociales es que no todo uso conversacional tiene el mismo peso. Un asistente para resumir documentos internos no comporta el mismo riesgo que una herramienta que orienta a una persona en un momento de fragilidad. Tratarlos igual es el primer error de gobernanza.
Quien asume el deber de cuidado
De todo ello se deriva una primera regla práctica: no debería introducirse ningún bote de acompañamiento en contextos con niños, adolescentes o personas en situación de vulnerabilidad. Es necesaria supervisión humana definida, criterios de escalado y límites de uso explícitos. La frontera entre informar y acompañar es fina, y una herramienta no la ve.
La gobernanza aquí no puede ser sólo legal o técnica. En servicios sociales, educativos o comunitarios es necesario incorporar el criterio profesional . Hay que decidir qué se puede automatizar, qué debe derivarse y qué no debería delegarse nunca . Esta frontera la dibuja el equipo que conoce a las personas, no el catálogo comercial del proveedor.
Y la confianza no se construye con una etiqueta que diga contenido generado por IA. Se construye con protocolos, supervisión humana, vías de reclamación y decisión previa sobre los límites de la herramienta. Si un proveedor promete compañía, soporte o bienestar, la diligencia debida debe ir más allá de la demostración comercial. Es necesario revisar manipulación emocional, tratamiento de datos, incentivos de retención y protección de menores.
En servicios sensibles, una interfaz amable no es ninguna garantía ética: un tono cercano puede generar confianza sin que exista ninguna responsabilidad detrás. La pregunta estratégica no es si podemos activar este bote, sino si tenemos suficiente gobernanza para cuidar las consecuencias de lo que puede provocar. ¿La tiene?
✳ Este artículo se ha elaborado con apoyo de IA generativa. Revisión y responsabilidad editorial: Enric Guinart Mauri. Más información →
