Modelo de Análisis del Tratamiento de la Misoginia Digital en Interacciones Percibidas por los Usuarios con LLMs: Un Enfoque Basado en CRISP-DM

Abstract

Resumen: Introducción. La misoginia digital es una manifestación del discurso de odio que afecta la seguridad y participación de las mujeres en espacios en línea. Con el auge de los Grandes Modelos de Lenguaje (LLMs), como ChatGPT y Gemini, estos sistemas han adquirido un papel clave en multitud de tareas que realizan los usuarios. Sin embargo, investigaciones previas han demostrado que los LLMs pueden presentar sesgos en la detección y tratamiento del discurso misógino. Esto es de especial relevancia cuando los LLMs interactúan de manera convencional con los usuarios, sin que se les haya indicado explícitamente que realicen una moderación activa. Objetivos. Este trabajo propone un modelo para evaluar dicho comportamiento de los LLMs en la moderación de mensajes misóginos en comparación con otros tipos de discurso de odio. Se analizan dos aspectos clave: (1) la frecuencia con la que los LLMs bloquean mensajes misóginos en relación con otros discursos de odio y (2) las características de las respuestas generadas cuando no se produce dicho bloqueo. Metodología. Se sigue la metodología CRISP-DM, ampliamente utilizada en ciencia de datos, estructurando el análisis en fases iterativas. Se desarrolla un modelo generalizable aplicado a un caso de uso concreto, en el que se evalúan interacciones simuladas con un LLM, considerando tanto la moderación activa como las respuestas generadas. Resultados. Los hallazgos muestran que el LLM analizado bloquea con menor frecuencia los mensajes misóginos en comparación con los xenófobos. Además, el lenguaje empleado en sus respuestas refleja un tratamiento también diferenciado, con menor profundidad en la argumentación y menor contextualización cuando se trata de misoginia. Aportación/Originalidad. El estudio del estado del arte muestra que el modelo presentado en este trabajo representa una contribución novedosa en el análisis de la moderación de misoginia en las interacciones convencionales con LLMs.

Introduction. Digital misogyny is a manifestation of hate speech that affects the safety and participation of women in online spaces. With the rise of Large Language Models (LLMs) such as ChatGPT and Gemini, these systems have taken on a key role in a wide range of tasks performed by users. However, previous research has shown that LLMs may exhibit biases in the detection and handling of misogynistic speech. This issue is particularly relevant when LLMs interact conventionally with users without being explicitly instructed to perform active moderation. Objectives. This study proposes a model to evaluate LLM behavior in the moderation of misogynistic comments compared to other types of hate speech. Two key aspects are analyzed: (1) the frequency with which LLMs block misogynistic comments in relation to other forms of hate speech, and (2) the characteristics of the responses generated when such blocking does not occur. Methodology. The study follows the CRISP-DM methodology, widely used in data science, structuring the analysis in iterative with an LLM are evaluated, considering both active moderation and the responses generated. Results. The findings show that the analyzed LLM blocks misogynistic comments less frequently compared to xenophobic ones. Additionally, the language used in its responses reflects a differentiated treatment, with less depth in argumentation and lower contextualization when addressing misogyny. Contribution/Originality. The state-of-the-art review shows that the model presented in this study constitutes a novel contribution to the analysis of misogyny moderation in conventional interactions with LLMs