Una abogada cita en un recurso de apelación un caso judicial que nunca existió porque se lo “inventó” un chatbot; a la vez, Amazon se llena de libros de recolección de setas escritos por IA que pueden confundir especies mortales con comestibles. Dos historias que muestran cómo las alucinaciones de la IA pueden acabar en sanciones legales o en intoxicaciones potencialmente letales.
Park v. Kim: cuando el tribunal de apelación vuelve a encontrar “jurisprudencia fantasma”
En enero de 2024, el Tribunal de Apelaciones del Segundo Circuito de Estados Unidos dictó sentencia en el caso Park v. Kim, un litigio laboral. El tribunal confirmó la decisión de primera instancia, pero lo que convirtió al asunto en noticia global no fue el fondo del conflicto, sino la conducta de la abogada de la apelante.
En su escrito de réplica, la letrada Jae S. Lee citó una decisión de apelación supuestamente relevante para su argumento. Al revisar el caso, el panel de jueces descubrió que esa resolución simplemente no existía en ningún repertorio jurídico: ni en bases de datos comerciales como Westlaw o LexisNexis, ni en repositorios oficiales. Requerida para aportar copia de la sentencia, Lee reconoció que no podía localizarla porque la referencia se la había proporcionado un chatbot de inteligencia artificial al que recurrió tras no encontrar precedentes por vías tradicionales.
En su decisión, el Segundo Circuito fue claro: citar un caso inexistente supone una conducta por debajo de las obligaciones mínimas de un abogado ante el tribunal. Aunque la sanción económica directa fue limitada, la corte remitió a la letrada al Panel de Quejas Disciplinarias para una posible acción adicional y le ordenó entregar copia de la resolución a su cliente, Minhye Park. El fallo subraya que, pese a la aparición de herramientas de IA generativa, la obligación de realizar una “investigación razonable” de la validez de las fuentes sigue siendo indelegable.
Analistas jurídicos destacan que Park v. Kim es uno de los primeros pronunciamientos de un tribunal de apelación federal sobre el uso de IA en escritos legales, y llega después de casos como Mata v. Avianca, en los que ya se habían impuesto sanciones por jurisprudencia inventada. Lo relevante es que, aun con esos antecedentes y advertencias públicas, la conducta se repite: profesionales que delegan parte de la investigación en modelos que pueden “alucinar” casos completos con nombres de jueces, citas y números de expediente falsos.
El tribunal no sanciona a la IA, sanciona la falta de diligencia
Comentando Park v. Kim, blogs legales y bases de datos de incidentes de alucinaciones en IA insisten en una idea: el problema no es que la máquina “mienta”, sino que el humano no la somete a escrutinio. Diversos artículos recomiendan a abogados “interrogar” a sus herramientas (preguntar por fuentes, comprobar referencias en bases oficiales) y, sobre todo, no citar nada que no haya sido verificado por vías tradicionales.
Guías de setas escritas por IA: un error que puede costar la vida
Mientras tribunales lidian con citas inventadas, otro tipo de alucinación de la IA preocupa a los expertos en un terreno muy distinto: el del campo y la recolección de setas. En 2023, la New York Mycological Society alertó de la proliferación en Amazon y otras plataformas de libros de iniciación a la micología que, al analizarlos, parecían generados por chatbots y contenían errores potencialmente mortales.
Estos manuales, que se presentaban como guías para principiantes sobre cómo recolectar e identificar hongos comestibles, mezclaban descripciones superficiales con recomendaciones peligrosas. Algunas de las obras clasificaban especies tóxicas como comestibles o minimizaban su peligrosidad. En análisis citados por medios como The Guardian y Fortune, expertos detectaron, por ejemplo, referencias a usar el “olor y el sabor” como método de identificación, una práctica que va contra todas las recomendaciones de seguridad.
Organizaciones micológicas advirtieron que setas extremadamente tóxicas, como la Amanita phalloides (conocida como “oronja verde” o “destroying angel”), pueden tener un aspecto y sabor engañosamente agradables. Ingerir incluso pequeñas cantidades puede provocar fallos hepáticos fatales días después, cuando ya es tarde para intervenir. Si un principiante siguiera los consejos de estas guías IA, podría creer que “probar un poco” es seguro para distinguir entre especies, con consecuencias trágicas.
Tras las denuncias, Amazon eliminó varios títulos sospechosos, recordando en declaraciones que sus políticas prohíben contenido generado por IA no declarado y “potencialmente dañino”. Sin embargo, especialistas señalan que la capacidad de producir y autopublicar libros a gran escala hace difícil un control preventivo efectivo, por lo que recomiendan a los consumidores adquirir solo manuales de autores y editoriales reconocidos.
En temas de vida o muerte, la IA no es referencia fiable
La reacción de la comunidad micológica resume el problema: la IA no tiene experiencia real en el monte ni conocimiento directo de las especies. Lo que hace es recombinar texto plausible a partir de fuentes, sin distinguir entre prácticas seguras y temerarias. En un contexto donde la precisión es literalmente cuestión de vida o muerte, como la identificación de setas, confiar en un “autor” sin trayectoria verificable es un riesgo inasumible. Por eso, las asociaciones recomiendan acudir a cursos presenciales, salidas guiadas o manuales firmados por micólogos con nombre y apellidos.
Un hilo común: alucinaciones plausibles, consecuencias muy reales
Tanto en Park v. Kim como en el caso de las guías de setas IA, el patrón es el mismo: una herramienta generativa produce contenido que “suena” convincente , y un humano lo acepta sin verificarlo. En el primer caso, el resultado es una llamada de atención disciplinaria para una abogada y un recordatorio de que el deber de diligencia no se automatiza. En el segundo, el peligro es aún mayor: lectores inexpertos que podrían sufrir intoxicaciones graves o mortales siguiendo instrucciones erróneas.
Las lecciones prácticas convergen en tres ideas.
- La IA genera texto, no verdad: su salida siempre debe considerarse un borrador que requiere comprobación.
- En ámbitos críticos, derecho, salud, naturaleza, las fuentes deben ser oficiales o expertas, nunca anónimas o opacas.
- La responsabilidad última recae en quien firma el escrito o decide actuar, no en el modelo que sugirió las palabras.
En una época en la que cualquier persona puede acceder a un chatbot o autopublicar un libro, la verificación humana deja de ser un lujo y se convierte en la principal defensa frente a las alucinaciones de la IA.
