Исследователи обнаружили, что разговорные агенты часто делают субъективные оценки о различных идентичностях и могут поощрять даже вредные идеологии. Это вызвало обеспокоенность относительно потенциальных негативных последствий использования искусственной эмпатии в таких областях, как образование и здравоохранение.
В целом, исследователи отметили, что разговорные агенты получают высокие оценки за эмоциональные реакции, но плохо справляются с интерпретацией и исследованием пользовательского опыта.
Эксперты призывают к более критическому взгляду на использование искусственной эмпатии и развитию мер для смягчения ее потенциальных вредных последствий.