Rubrica de valoración de la estructura y apartados de la síntesis narrativa

 

Se realizó una rúbrica de valoración de la estructura y apartados de la síntesis de conformidad con los objetivos y preguntas de investigación, alineándose con los principios de transparencia, rigor metodológico y minimización de sesgos destacados en la ingeniería de software basada en evidencia por Kitchenham et al. (2015) 

Dimensión 1: Construcción del Modelo Teórico

1. Claridad del modelo teórico

4: El modelo es claro, bien estructurado y se relaciona directamente con las preguntas y objetivos de la investigación.

3: El modelo es mayormente claro, aunque con algunas ambigüedades menores.

2: El modelo presenta varias ambigüedades o inconsistencias.

1: No se observa un modelo teórico claro.

2. Uso de herramientas y técnicas de codificación

4: La codificación inicial y paralela está completamente documentada y es consistente (Atlas.ti, Notebook LM).

3: La codificación es adecuada, aunque con documentación o consistencia limitada.

2: Uso inconsistente o documentación insuficiente de las herramientas.

1: No se evidenció uso o documentación de herramientas específicas.

Dimensión 2: Síntesis Preliminar

1. Agrupación en categorías

4: Las categorías son relevantes, reflejan un análisis profundo y están bien justificadas.

3: Las categorías son pertinentes pero podrían ser más profundas o justificadas.

2: Las categorías son superficiales o están pobremente justificadas.

1: No se presenta una agrupación clara en categorías.

2. Integración de sistemas de IA

4: Se evidencia un uso óptimo de Claude AI para generar una matriz completa y relevante.

3: Se usó Claude AI con buenos resultados, aunque con limitaciones menores.

2: El uso de Claude AI es inconsistente o no logra resultados claros.

1: No se utilizó o se utilizó de manera ineficaz.

Dimensión 3: Exploración de Relaciones

1. Codificación axial

4: La codificación axial es completa y refleja relaciones significativas entre los datos.

3: La codificación axial es adecuada pero podría ser más robusta.

2: La codificación axial es limitada en alcance o profundidad.

1: No se realiza codificación axial o es insuficiente.

2. Comparación entre sistemas de IA

4: La comparación entre Claude y Notebook LM está bien documentada y justificada.

3: La comparación es adecuada pero carece de detalles en ciertos aspectos.

2: La comparación es limitada o poco documentada.

1: No se realiza comparación alguna.

 

Dimensión 4: Evaluación de la Síntesis

1. Correspondencia con los objetivos de investigación

4: La síntesis aborda claramente todos los objetivos de investigación.

3: La síntesis aborda la mayoría de los objetivos, aunque con áreas mejorables.

2: La síntesis es parcial y no cubre completamente los objetivos.

1: La síntesis no aborda los objetivos de manera significativa.

2. Minimización de sesgos interpretativos

4: Se documentan y justifican métodos claros para minimizar sesgos.

3: Se intentan minimizar sesgos, aunque con documentación insuficiente.

2: Se hace poco para mitigar los sesgos.

1: No se documentan esfuerzos para reducir sesgos.

Dimensión 5: Transparencia y Reflexividad

1. Documentación reflexiva (memos)

4: Los memos están completos, claros y evidencian reflexividad durante el proceso.

3: Los memos son adecuados pero no completamente exhaustivos.

2: Los memos son limitados o poco claros.

1: No se documentan memos o reflexiones.

2. Integración de interacciones con IA

4: Las interacciones con sistemas de IA están completamente documentadas y justificadas.

3: Las interacciones están documentadas pero podrían ser más claras.

2: Las interacciones se mencionan superficialmente o con poca justificación.

1: No se documentan las interacciones con IA.

Escala de evaluación (regularmente se maneja como insuficiente si tiene 60% o menos de características deseadas):

• Sobresaliente: 35-40 puntos

• Notable: 30-34 puntos

• Aprobado: 25-29 puntos

• Insuficiente: Menos de 25 puntos

Se considera que la rúbrica evalúa suficientemente el proceso de síntesis narrativa textual asegurando la calidad y transparencia en cada etapa del proceso analítico. Se tuvo una base en los principios de Kitchenham et al. (2015). Estos autores señalan que es fundamental primero evaluar la calidad de los estudios que se emplearán para la construcción del modelo teórico, para ello en la rúbrica se plantean 3 elementos a analizar: calidad del modelo teórico, evaluación de la correspondencia con los objetivos, minimización de sesgos interpretativos.

En segundo lugar se considera la transparencia del proceso, esto incluye los métodos, protocolos y decisiones tomadas durante el análisis. Para ello considero en la rúbrica la documentación reflexiva (memos), integración con los sistemas de IA y comparación entre sistemas.

En tercer lugar, el énfasis en la sistematización y rigor metodológico. Esto incluye definir claramente los criterios de inclusión/exclusión, realizar síntesis meticulosas y documentar cómo se manejan las discrepancias. Esto se refleja en la rúbrica en la agrupación de categorías, codificación axial y exploración de relaciones, así como el uso de herramientas como Atlas.ti, Claude, etc.

En cuarto lugar la validación y minimización de sesgos, se enfatiza la importancia de reducir los sesgos interpretativos y validar los resultados. Esto se hace comparando fuentes, triangulando datos y justificando cada paso del análisis. En la rúbrica se maneja como evaluación de la solidez de la síntesis, uso de la IAGen y comparación de resultados entre métodos y los objetivos del estudio.

Finalmente, todo análisis debe ser explícitamente diseñado para responder las preguntas de investigación formuladas, asegurando la alineación entre los métodos y los objetivos del estudio, lo cual en la rúbrica se analiza como correspondencia con los objetivos de investigación e integración de categorías con sentido y significado.