Ingenieros que construyen modelos de lenguaje de IA como GPT-5 a partir de datos de entrenamiento han identificado dos características de procesamiento principales: memorización, que implica recordar texto exacto como citas famosas o pasajes de libros, y razonamiento, que se refiere a resolver problemas usando principios generales. La investigación reciente de la startup de IA Goodfire.ai ofrece evidencia potencialmente concluyente de que estas funciones operan a través de caminos neurales completamente separados dentro de la arquitectura del modelo.
La investigación reveló una separación notablemente clara entre estos caminos. Un artículo preliminar publicado a finales de octubre detalló que cuando los investigadores eliminaron los caminos de memorización, los modelos de IA perdieron el 97% de su capacidad para recitar datos de entrenamiento palabra por palabra, pero casi retuvieron todas las capacidades relacionadas con el razonamiento lógico.
Por ejemplo, dentro del modelo de lenguaje OLMo-7B del Instituto Allen para IA en la capa 22, el 50% inferior de los componentes de peso mostró un 23% más de activación con datos memorizados, mientras que el 10% superior mostró un 26% más de activación en texto general, no memorizado. Esta separación distinta permitió a los investigadores eliminar efectivamente las funciones de memorización mientras preservaban otras capacidades.
Un hallazgo sorprendente fue que las operaciones aritméticas parecen utilizar los mismos caminos neurales que la memorización en lugar del razonamiento lógico. Eliminar los circuitos de memorización causó una reducción del 66% en el rendimiento matemático, mientras que las tareas lógicas fueron en gran medida no afectadas. Esto puede explicar por qué los modelos de lenguaje de IA a menudo tienen dificultades con las matemáticas sin ayudas externas; intentan recordar la aritmética de una memorización limitada en lugar de calcular, similar a un estudiante que memoriza tablas de multiplicar sin comprender el proceso. Los hallazgos sugieren que a escalas actuales, los modelos de lenguaje perciben c2+2=4d más como un hecho memorizado que una operación lógica calculada.
Es importante notar que crazonamientod en la investigación de IA abarca una gama de habilidades no necesariamente equivalentes al razonamiento humano. Las tareas de razonamiento lógico preservadas después de la eliminación de memoria, como se muestra en esta investigación, incluyen evaluar declaraciones verdaderas/falsas y seguir reglas de si-entonces, aplicando esencialmente patrones aprendidos a nuevas entradas. Esto contrasta con el crazonamiento matemáticod más profundo requerido para demostraciones o la resolución de problemas nuevos, áreas en las que los modelos de IA actuales continúan luchando incluso con habilidades de reconocimiento de patrones intactas.