Tianqi Wei, Doktorand an der UQ, erklärte, dass selbst fortschrittliche Bild-Sprach-Modelle (VLMs) Schwierigkeiten hätten, Bilder von mikroskopisch kleinen Pflanzendetails zu interpretieren.
„VLMs werden in anderen Bereichen der Mikroskopie häufig als Forschungswerkzeuge eingesetzt, nicht jedoch in der Pflanzenwissenschaft, da man sich nicht darauf verlassen kann, dass sie zelluläre Details genau analysieren. Letztendlich gibt es blinde Flecken, die uns daran hindern, diese Werkzeuge zu nutzen, um Entdeckungen zu machen, die die Forschung in Bereichen wie Ernährungssicherheit und ökologischer Nachhaltigkeit voranbringen.“
Um VLMs zu einem robusteren Verständnis der Pflanzenmikroskopie zu verhelfen, haben Wei und seine Mitarbeiter an der Fakultät für Elektrotechnik und Informatik der UQ einen KI-Benchmark-Datensatz namens „PlantMicro“ erstellt.
In Zusammenarbeit mit der School of Agriculture and Food Sustainability der UQ und teilweise unterstützt von der Grains Research and Development Corporation (GRDC) integriere die Software Tausende von Mikroskopbildern und nutze ausgefeilte Trainingsmechanismen, um die Fähigkeit von VLMs zu testen, winzige Details bei Pflanzen und Pflanzenkrankheiten zu identifizieren, zu sortieren und zu zählen.
„Ein Grund für die Leistungslücke der KI in der Pflanzenmikroskopie ist, dass wir bisher nicht genau erkennen konnten, wo die VLMs Defizite aufweisen und wie sie verbessert werden können“, sagte Wei „Mit PlantMicro können wir eindeutig feststellen, wo diese großen KI-Modelle Schwierigkeiten haben.“
Wei erklärte, dass mit PlantMicro durchgeführte Experimente bestätigten, dass sowohl proprietäre als auch Open-Source-VLMs bei der Identifizierung von Pflanzenwirten und Krankheiten schlechte Ergebnisse erzielten, mit einer durchschnittlichen Genauigkeit von etwa 30 %.
„Diese Ergebnisse liegen nur geringfügig über dem Zufallsergebnis, was darauf hindeutet, dass VLMs bei der Identifizierung von Wirts- oder Pathogenarten anhand mikroskopischer Befunde noch vor erheblichen Herausforderungen stehen“, sagte Wei.
Er erklärte, dass die Identifizierung dieser Leistungslücken ein entscheidendes Feedback für KI-Entwickler sei, um ihre Produkte für den Einsatz in der mikroskopischen Pflanzenforschung zu verbessern. „Wir hoffen, dass unser Programm eine bessere Grundlage für den Einsatz von KI in der Pflanzenwissenschaft schafft, zum Wohle aller Menschen auf der Erde.“