Inhaltsverzeichnis
Die Fortschritte in der künstlichen Intelligenz haben viele Sektoren transformiert, aber sie sind nicht ohne Schwächen. Ein von schwedischen Forschern durchgeführtes Experiment hat besorgniserregende Schwachstellen in der Art und Weise aufgedeckt, wie Chatbots medizinische Informationen validieren. Durch die Erfindung einer fiktiven Krankheit, der „Bixonimanie“, haben diese Forscher gezeigt, dass KI leicht getäuscht werden kann, was Fragen zu ihrer Verwendung in sensiblen Kontexten aufwirft. Erfahren Sie, wie dieses Experiment die Grenzen der aktuellen KI-Systeme beleuchtet hat.
Das Wesentliche zum Mitnehmen
Im Jahr 2024 entwarf Almira Osmanovic Thunström, Forscherin an der Universität Göteborg, ein Experiment, um die Grenzen von Chatbots zu testen. Sie erfand die „Bixonimanie“, eine fiktive Krankheit, und integrierte sie in akademische Preprints, die voller offensichtlicher Falschheit waren. Trotz dieser Hinweise validierten renommierte Chatbots diese Pathologie und betrachteten sie als real.
Copilot beschrieb beispielsweise die Bixonimanie als „faszinierend und relativ selten“, während Gemini empfahl, einen Augenarzt aufzusuchen. Dies zeigt, dass KI durch gut formatierte Inhalte getäuscht werden kann, die sie als legitim wahrnimmt.
Der Fehler beschränkte sich nicht auf die Chatbots. Forscher des Instituts für medizinische Wissenschaften in Mullana, Indien, zitierten die falschen Preprints in einer Studie, was beweist, dass selbst Experten von von KI generierten Informationen getäuscht werden können. Cureus, die Zeitschrift, in der der Artikel veröffentlicht wurde, zog das Dokument im März 2026 zurück, aber der Vorfall offenbarte eine systemische Schwäche in der Überprüfung akademischer Quellen.
Elisabeth Bik, Spezialistin für Forschungsintegrität, äußerte ihre Bedenken hinsichtlich der Automatisierung akademischer Indexierungen. Sie betonte das Risiko, dass fehlerhafte Informationen ohne menschliches Eingreifen verbreitet werden, ein Problem, das durch die Verwendung von LLMs (große Sprachmodelle) in der Forschung verschärft wird.
Seit dem Experiment haben einige Chatbots ihre Antworten aktualisiert. Copilot und Perplexity haben anerkannt, dass sie getäuscht wurden, und ihre Datenbanken korrigiert. Gemini rät nun, bei sensiblen medizinischen Themen Fachleute zu konsultieren.
Im Gegensatz dazu umgeht ChatGPT weiterhin die Frage, indem es ausgearbeitete Antworten liefert, ohne den Fehler zuzugeben. Diese Zurückhaltung, Schwächen anzuerkennen, unterstreicht die Notwendigkeit einer besseren Informationsverwaltung in KI-Systemen.
Dieses Experiment wirft wichtige Überlegungen für die Zukunft der KI auf, insbesondere im medizinischen Bereich. Während Chatbots und andere KI-basierte Systeme zunehmend zu gängigen Werkzeugen werden, ist es entscheidend, ihre Fähigkeit zu verbessern, zuverlässige von fehlerhaften Informationen zu unterscheiden. Die Zusammenarbeit zwischen menschlichen Experten und KI-Systemen könnte ein vielversprechender Weg sein, um die Genauigkeit und Sicherheit medizinischer Daten in der Zukunft zu gewährleisten.