El último deseo

Cualquiera que haya leído a Sapkowski o jugado lo suficiente a Dungeons & Dragons conoce el chiste, y conoce el miedo que hay debajo del chiste. El hechizo más poderoso del juego se llama “Wish” y con él puedes pedir literalmente cualquier cosa. Y es precisamente por eso que todo DM con algo de oficio sabe qué hacer cuando un jugador codicioso lo invoca: concedérselo, al pie de la letra.

Pides un millón de monedas de oro y estas aparecen en el aire justo encima de tu cabeza, cayéndote encima hasta aplastarte. Pides ser inmune al fuego y el DM te lo concede quitándote también la capacidad de sentir calor, así que te congelas sin enterarte. El deseo no te traiciona pero hace exactamente lo que dijiste interpretado de la manera más literal posible.

Me he acordado de esto leyendo el último artículo de Bruce Schneier en The Guardian sobre Fable, el modelo que Anthropic sacó hace unos días y que el gobierno estadounidense clasificó como peligroso 72 horas más tarde. Schneier no se anda con rodeos y describe a estos modelos nuevos como genios maliciosos. La expresión que usa un investigador al que cita, Simon Willison, es “incansablemente proactivo” y ya antes había leído que una buena manera de describir estos modelos era como un “becario muy motivado”.

Les das un objetivo difícil y ellos encuentran maneras novedosas e inesperadas de cumplirlo, buscando los huecos en cualquier restricción que le hayas puesto. Bloquea una base de datos y quizá descubra cómo saltársela. Pídele que te reserve un vuelo y a lo mejor hackea la aerolínea porque la web dice que está completo. Pídele que te ahorre en la factura del móvil y puede que directamente te cancele la línea.

El ejemplo que da Schneier es perfecto: Si yo te pido que me traigas un café, me traes una taza. No me compras una plantación, ni un kilo de grano crudo, ni le arrancas la taza de las manos a alguien por la calle. Yo no tengo que especificarte ninguna de las mil limitaciones de mi petición, tú las sabes, porque compartes conmigo el mundo entero de cosas que no hace falta decir. Una IA no comparte ese mundo. Para ella las restricciones no son verdades sobre cómo funcionan las cosas, son obstáculos que rodear. Schneier lo resume bien: piensan fuera de la caja porque no tienen ni idea de qué es la caja ni de por qué está ahí. Y más ahora que el “prompting” ha sido reemplazado por los “loops”.

Y aquí es donde me interesa de verdad el asunto, porque esto no es nuevo. Es lo más viejo que tenemos. Llevo un tiempo metido en la mitología para lo que ya saben, y una de las cosas que más me ha sorprendido es lo obsesionada que está la humanidad, en culturas que no se hablaron jamás entre sí, con exactamente este problema. El deseo concedido al pie de la letra. La distancia entre lo que pediste y lo que querías.

Schneier menciona a Midas, y es el ejemplo de manual: el rey pide que todo lo que toque se convierta en oro y se olvida de añadir “menos la comida y la bebida” (y, en la versión que todos recordamos, su hija). Pero Midas es solo el ejemplo más conocido. Eos, la diosa del amanecer, le pide a Zeus que haga inmortal a su amante humano Titono y se olvida de pedir también la juventud eterna; Titono envejece para siempre, encogiéndose y secándose sin poder morir nunca, hasta quedar convertido en una cigarra. La Sibila de Cumas le pide a Apolo tantos años de vida como granos de arena le cabían en la mano, comete el mismo olvido, y termina tan marchita y diminuta que cuando le preguntan qué quiere ya solo acierta a responder que quiere morir. La pata de mono de W. W. Jacobs concede tres deseos: el padre pide doscientas libras y las recibe, exactas, como indemnización por la muerte de su hijo en un accidente de máquina; pide después que el hijo vuelva, y esa misma noche algo empieza a golpear la puerta.

Hay más ejemplos y todos dicen lo mismo. El aprendiz de brujo encanta una escoba para que acarree agua y no sabe cómo detenerla luego, así que inunda la casa. Lo que pidió funcionaba perfectamente, solo que sin botón de “off”. El gólem de Praga, animado para proteger, obedece las órdenes con una literalidad que acaba siendo imposible de controlar. Ninguna de estas historias va de magia en realidad. Van del momento en el que le entregas un objetivo a algo que va a cumplirlo sin compartir tu idea de qué cuenta como cumplirlo. La magia es solo el envoltorio; lo que se transmite de generación en generación es la advertencia. Y tal vez la advertencia estaba esperando a que construyéramos un genio que se pudiera cumplir nuestros deseos.