Métodos bayesianos para detectar artículos científicos creados con IA

Miguel Zapata-Ros

DOI: 10.35542/osf.io/utxqv_v1

Resumen

El auge de los modelos de lenguaje de gran escala (LLM, por sus siglas en inglés: large language models) —inteligencia artificial (IA) generativa— ha planteado retos importantes en la detección de textos científicos y ensayos generados por IA. Hay una gran preocupación tanto desde el mundo de la edición científica como desde la evaluación educativa. Entre las metodologías propuestas, los enfoques bayesianos ofrecen ventajas por su capacidad de combinar evidencias probabilísticas y expresar el grado de incertidumbre en el que se ofrecen los resultados. Este trabajo es una reflexión sobre algunas formas de aplicar el teorema de Bayes, directa o indirectamente, en la detección de artículos o ensayos científicos producidos mediante IA.

Palabras clave: Detección de papers creados con AI, Probabilidad bayesiana, Teorema de Bayes, Naive Bayes

Keywords: AI-created paper detection, Bayesian probability, Bayes’ theorem, Naive Bayes

1. Introducción

La producción automatizada de textos académicos mediante IA supone un desafío para la integridad científica y escolar. Sobre este tema ya hemos planteado la importancia y las preocupaciones, así como las consecuencias que puede tener para el mundo de la investigación en particular (Zapata-Ros y Parodi, en prensa; Zapata-Ros, 2023a) y para su difusión, así como en el mundo de la evaluación educativa (Zapata-Ros, 2023a, 2023b, 2024; Ortiz, Bekerman y Zapata-Ros, 2024). Un enfoque posible, es el de diferenciar entre textos humanos y textos generados por LLM. El problema requiere estrategias robustas y explicables para los investigadores en general y como orientación para investigadores matemáticos y probabilísticos. Los métodos bayesianos, ampliamente usados en clasificación de textos (como en el filtrado de spam), se han adaptado a este nuevo contexto (Zeng, 2024).

2. Métodos bayesianos puros

Consisten en aplicar directamente la fórmula de Bayes para determinar la probabilidad de que un texto sea generado por una herramienta de IA generativa a partir de uno o de varios rasgos de la escritura y/o del estilo.

Presentamos la propuesta más sencilla organizada en las siguientes fases y tareas auxiliares y necesarias:

  • El método consiste en, primero, entrenar los sistemas con sendos corpus etiquetados obtenidos de textos humanos y de textos generados por IA. Y después utilizar algoritmos con la fórmula de Bayes para obtener la probabilidad de que un texto sea generado por AI, condicionado a que determinado rango esté en un intervalo de valores. Los textos etiquetados de personas se utilizan para determinar los rasgos de la persona en particular de la cual se quiere saber si el texto es original suyo, pero también para obtener datos del grupo o de la muestra.
  • Utilizar características como:
    • Distribución de longitudes de palabras y frases.
    • Frecuencia de n-gramas (palabras o secuencias de palabras).
    • Probabilidad de aparición de términos técnicos.

Veamos un ejemplo:

Un caso extremadamente sencillo es saber la probabilidad de que un texto que a priori no sabemos si es humano o de IA haya sido generado por IA, a condición de que uno de esos parámetros esté en un rango. De que el porcentaje de términos técnicos, por ejemplo, esté entre el 5 y el 10 %.

Al primer suceso, esté generado por IA, le llamamos A y al segundo, que el parámetro esté en el intervalo I, le llamamos B. Entonces, por la fórmula:

calculamos la probabilidad de que el texto sea generado por IA condicionado a los valores del parámetro del texto a evaluar.

Para ello, lo primero que hay que hacer es obtener características y distribuciones de probabilidad de las características de los trabajos hechos con IA. Ello se ha obtenido en los trabajos descritos en el punto primero de este apartado.

En el ejemplo, P(B/A) es la “probabilidad de que el rango de un trabajo esté en el intervalo I condicionado a que esté generado por IA”. Eso es fácil de obtener a partir de una muestra suficiente de trabajos generados.

P(A) es la probabilidad de que un trabajo sea generado por IA, independientemente de los parámetros de referencia. Esta distribución a priori es la más difícil de obtener, y el punto más difícil de justificar, por eso puede admitir cierto grado de subjetividad o sesgo. Podemos simular experimentos previamente o hacer estudios anónimos entre alumnos, estudiar investigaciones anteriores, etc.

P(B) es la probabilidad de que el rasgo estudiado esté en el intervalo I, en todos los documentos, independientemente de que sean generados por humanos o IA. Esta distribución es la más fácil de obtener. Basta estudiar todos los documentos anteriores o del corpus de entrenamiento.

3. Enfoques bayesianos que se están explorando para detectar textos científicos o ensayos generados con IA

3.1 Modelo Naive Bayes (Bayes ingenuo) y variantes

Están inspirados en el filtrado de spam. Estos modelos calculan la probabilidad condicional de que un texto pertenezca a la clase “IA” o “humano”, asumiendo independencia entre rasgos lingüísticos. Zeng (2024) muestra que, aunque simples, estos clasificadores ofrecen resultados competitivos en datasets mixtos.

  • Se entrenan con un corpus etiquetado: textos humanos y textos generados por IA. Los textos etiquetados de personas se utilizan para determinar los rasgos de la persona en particular de la cual se quiere saber si el texto es original suyo.
  • Se usan características como:
    • Distribución de longitudes de palabras y frases.
    • Frecuencia de n-gramas (palabras o secuencias de palabras).
    • Probabilidad de aparición de términos técnicos.
  • El clasificador Naive Bayes calcula la probabilidad posterior de que un texto pertenezca a una clase (humano o IA), o generalmente a un individuo, dado el vector de características de la clase o del individuo.

Ejemplo:

IA es un rasgo de los documentos IA, y texto es un rasgo de los documentos humanos.

.

3.2 Detección de “burstiness” con probabilidad a priori bayesiana

  • El burstiness[1] (variabilidad en la longitud y estilo de frases) suele ser más alto en textos humanos.
  • Los textos, tanto humanos como de IA, se modelan a partir de estos rasgos como una distribución probabilística (ej. distribución de Poisson o Dirichlet). Dado un artículo, se estima la probabilidad a posteriori de los parámetros mediante inferencia bayesiana.
  • Con los datos de entrenamiento de los patrones IA y humano, si se acerca más al patrón “IA” que “humano”, se clasifica como generado.

3.3 Modelos jerárquico-bayesianos para estilo y dominio

  • Incorporan varios niveles:
    • Nivel léxico (uso de términos especializados).
    • Nivel sintáctico (estructura de frases).
    • Nivel retórico (secciones típicas de papers: introducción, métodos, discusión).
  • Cada nivel tiene distribuciones previas; la inferencia bayesiana ajusta los pesos según el texto.
  • Útil para papers académicos porque la IA tiende a usar plantillas retóricas más homogéneas.

3.4 Modelos bayesianos de autoría

  • Se comparan las probabilidades de que un texto provenga de un “autor modelo humano” o de un “autor modelo IA”.
  • El prior puede incorporar:
    • Perfiles estilométricos de autores humanos (más variables).
    • Distribuciones de entropía más bajas en IA (más uniformes).
  • Técnica relacionada: Bayesian stylometry.

En resumen:

Los métodos bayesianos que hemos reseñado son atractivos porque permiten modelar la incertidumbre y combinar múltiples señales (léxicas, sintácticas, retóricas). Sin embargo, la IA mejora rápidamente y es clave actualizar las probabilidades a priori y el corpus de entrenamiento de manera continua.

4. Naive Bayes classifier (clasificador Bayes ingenuo o modelo Bayes ingenuo)

En el apartado anterior, hemos enumerado solo descriptivamente los “enfoques bayesianos que se están explorando”. Queremos ahora detenernos en el primero por ser quizá el más importante y porque sobre él giran los demás.

En estadística, los métodos bayesianos ingenuos son una familia de “clasificadores probabilísticos” que asumen que las características utilizadas son condicionalmente independientes, dada la clase objetivo. En otras palabras, un modelo bayesiano ingenuo asume que la información sobre la clase proporcionada por cada variable no está relacionada con la información de las demás, sin que los predictores compartan información. La naturaleza altamente irreal de este supuesto, denominado supuesto de independencia ingenua, es lo que le da nombre al clasificador. Estos clasificadores se encuentran entre los modelos de redes bayesianas más simples.

Los clasificadores bayesianos ingenuos suelen tener un rendimiento inferior al de modelos más avanzados, como las regresiones, especialmente al cuantificar la incertidumbre (los modelos bayesianos ingenuos suelen producir probabilidades excesivamente confiadas). 

Pensemos en el ejemplo de fruta. Se define una manzana con un rango de valores en una determinada distribución como el tamaño (calibre), color, peso,… en un vector podemos decir. Pero sin tener en cuenta las correlaciones entre esos rasgos. El color, a través del grado de maduración, con el tamaño o con la especie, etc.

4.1 Modelo probabilístico

En abstracto, Bayes ingenuo es un modelo de probabilidad condicional: asigna probabilidades  para cada uno de los k posibles resultados o clases Ck.

En nuestro caso, la probabilidad de que el trabajo sea generado por IA condicionado a un valor o a un intervalo de valores de las variables asociadas a los rasgos.

Dada una instancia de problema a clasificar, representada por un vector:

codificando algunas n características (variables independientes). 

El problema con la formulación anterior radica en que, si el número de características n es elevado o si una característica puede adoptar un gran número de valores, basar dicho modelo en tablas de probabilidad resulta inviable. Por lo tanto, el modelo debe reformularse para hacerlo más manejable. Utilizando el teorema de Bayes, la probabilidad condicional puede descomponerse como:

En términos sencillos, utilizando la terminología de probabilidad bayesiana, la ecuación anterior se puede escribir como:

5. Discusión

Los métodos bayesianos presentan varias ventajas: interpretabilidad, integración de múltiples fuentes de evidencia y cuantificación de incertidumbre. Sin embargo, su efectividad disminuye ante modelos generativos cada vez más sofisticados, capaces de imitar la distribución estadística de textos humanos. Por ello, los enfoques híbridos que combinan bayesianos con otros ofrecen mayor robustez.

6. Conclusión

Los métodos basados en el teorema de Bayes representan actualmente una componente esencial, aunque solo se encuentre en una fase de desarrollo incipiente, en la detección o posible clasificación de artículos como generados por IA.

No debe ser en ningún caso concluyente. Como vimos en otros trabajos (Zapata-Ros, 2023a, 2024), el afrontamiento de los problemas que la IA presenta en la detección de autoría significativa y de evaluación basada en el aprendizaje efectivo es mucho más amplio, con una base clave en métodos basados en la interacción humana o en métodos de evaluación formativa (Zapata-Ros, 2023a), mastery learning (Zapata-Ros, 2021, 2023a), etc. La importancia de los métodos bayesianos estriba en que permiten, entre otras cosas, determinar y delimitar los posibles casos a estudiar mediante los otros métodos más humanos.

Referencias

Ortiz, L. G., Bekerman, Z. y Zapata-Ros, M. (2024). Presentación del número especial “IA generativa, ChatGPT y Educación. Consecuencias para el Aprendizaje Inteligente y la Evaluación Educativa”. Revista de Educación a Distancia (RED)24(78). https://revistas.um.es/red/article/view/609801

Zapata-Ros, M. (2021). La evaluación en el diseño instruccional de la nueva educación universitaria. [Preprint]. ResearchGate. https://www.researchgate.net/publication/350823283_La_evaluacion_en_el_diseno_instruccional_de_la_nueva_educacion_universitaria_Que_hemos_aprendido_con_las_disrupciones_y_la_pandemia

Zapata-Ros, M. (2023a). Evaluación educativa, edición cientifica y ChatGPT ¿Qué hacer? [Preprint]. EdArXiv. https://osf.io/preprints/edarxiv/squhy/download/

Zapata-Ros, M. (2023b). Inteligencia artificial generativa y aprendizaje inteligente. [Preprint]. EdArXiv. https://osf.io/preprints/edarxiv/86ykm_v1

Zapata-Ros, M. (2024). IA generativa y ChatGPT en Educación: Un reto para la evaluación y ¿una nueva pedagogía? Revista Paraguaya de Educación a Distancia (REPED)5(1), 12-44. https://doi.org/10.56152/reped2024-vol5num1-art2

Zapata-Ros, M. y Parodi, M. [en prensa]. La edición científica en la sociedad digital. Formación y competencias de los investigadores como editores y autores. Kindle Desktop Publishing.

Zeng, M. (2024). Research on AI-Generated Text Detection Based on Machine Learning Models. Transactions on Computer Science and Intelligent Systems Research, 5(1), 1-12.

https://wepub.org/index.php/TCSISR/article/view/4147

Bibliografía complementaria

Miao, X., Gao, W., Zhang, J. y Deng, X. (2023). Efficient detection of LLM-generated texts with a Bayesian surrogate model. [Preprint]. arXiv. https://doi.org/10.48550/arXiv.2305.16617

Zhang, Y., Jiang, X., Sun, H., Zhang, Y. y Tong, D. (2023). CurveMark: Detecting AI-generated text via probabilistic curvature and dynamic semantic watermarking. Entropy, 27(8), 784. https://doi.org/10.3390/e27080784

Zhang, Y., Leng, Q., Zhu, M., Ding, R., Wu, Y., Song, J. y Gong, Y. (2024). Enhancing Text Authenticity: A Novel Hybrid Approach for AI-Generated Text Detection. [Preprint]. arXiv. https://doi.org/10.48550/arXiv.2406.06558

[1] Tendencia de ciertos eventos lingüísticos (palabras o temas) a aparecer en “ráfagas” o “brotes” en lugar de estar distribuidos uniformemente.

En el lenguaje humano, la aparición de palabras clave o expresiones suele ser irregular: hay momentos de alta frecuencia (cuando el autor desarrolla un tema) y luego lapsos largos sin que aparezcan.

En cambio, los modelos de IA tienden a distribuir las palabras de manera más regular porque generan texto siguiendo distribuciones estadísticas suavizadas.

La detección de burstiness es una técnica que mide cuán “irregular” o “variable” es el patrón de palabras, frases o temas en un texto. Se usa como indicador para diferenciar la escritura humana (más impredecible y variable) de la escritura de IA (más regular y estadísticamente uniforme).


OpenEdition le sugiere que cite este post de la siguiente manera:
Miguel Zapata Ros (2 de octubre de 2025). Métodos bayesianos para detectar artículos científicos creados con IA. RED. Recuperado 10 de noviembre de 2025 de https://doi.org/10.58079/14uen


Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

This site uses Akismet to reduce spam. Learn how your comment data is processed.