Winkel denn Mass des Zusammenhangs
Beziehungs-Pfeile, die in diesem Vektorraum in die gleiche Richtung zeigen, weisen vereinigen grossen Zusammenhang uff. Je grösser welcher Winkel zwischen zwei Vektoren ist, umso weniger nach sich ziehen zwei Informationseinheiten miteinander zu tun.
Dieser SIFT-Algorithmus welcher ETH-Forschenden nutzt nun die Richtung des Beziehungsvektors welcher Input-Antrag (Prompt), um diejenigen Informationsbeziehungen zu identifizieren, die vereinigen engen Zusammenhang mit welcher Frage aufzeigen andererseits sich synchron inhaltlich ergänzen. «Dieser Winkel zwischen den Vektoren entspricht welcher inhaltlichen Relevanz und wir können durch welcher Winkel präzise diejenigen Statistik auswählen, welche die Unstetigkeit verringern», führt Hübotter aus.
Weniger Überlagerungen durch Redundanz
Dasjenige bisher gebräuchlichste Vorgehen zur Sortiment welcher für jedes die Replik geeigneten Informationen, dasjenige sogenannte Nearest-Neighbor-Verfahren, tendiert demgegenüber dazu, vor allem vielfach vorhandene redundante Informationen anzusammeln. Dieser Unterschied zwischen den zwei Methoden wird am Leitvorstellung eines Antrag-Prompts spürbar, welcher aus mehreren Informationsteilen zusammengesetzt ist.
Zu Gunsten von die Beantwortung welcher zweiteiligen Frage «Wie altertümlich ist Roger Federer und wie viele Kinder hat er?» sieht dasjenige Nearest-Neighbor-Verfahren ähnliche Informationen wie «Roger Federer ist 43 Jahre altertümlich» und «Roger Federers Geburtstag ist welcher 8. August 1981» denn gleichermassen relevant an. Informationen zu seinen Kindern, relevant für jedes den zweiten Teil welcher Frage, fehlen mitunter. Sie werden von den in den Trainingsdaten welcher KI viel häufiger vorkommenden Geburtsdatumsinformationen überlagert. Dieser SIFT-Algorithmus berücksichtigt hingegen, inwieweit sich die einbezogenen Informationen ergänzen, deren Informationsvektoren deshalb in unterschiedliche Richtung zeigen. Damit lassen sich relevante Informationen für jedes zweierlei Teilaspekte welcher Frage identifizieren.
Zuverlässigere Kontern mit viel kleineren Modellen
Die gezielte Informationsauswahl verbessert andererseits nicht nur die Antwortwortqualität. Sie lässt sich sekundär zur Verringerung des immer grösser werdenden Rechenaufwands von KI-Anwendungen nutzen. Durch die indirekte Messung welcher Unstetigkeit kann z. B. dasjenige Vorbild selbst entscheiden, wie viele Statistik noch nötig sind, um eine hinreichend zuverlässige Replik schenken zu können. Dieser Rechenaufwand einer LLM lässt sich so wissenschaftlich an die Schwierigkeit welcher Frage und die Verfügbarkeit relevanter Informationen verbiegen
Da SIFT die Gewichtung welcher Pfeilrichtungen während welcher Datenauslese laufend energiegeladen an seine Berechnungen adaptiert, wird zudem dasjenige angereicherte Vorbild während welcher Nutzung immer zuverlässiger. Dieses sogenannte Training im Produktionsstätte kann dazu genutzt werden, um mit kleineren Modellen die gleiche Output-Leistung zu hinhauen. «In Tests mit Standard-Datensätzen nach sich ziehen wir mit einem SIFT-Tuning die besten aktuellen KI selbst mit solange bis zu 40-mal kleineren Modellen übertroffen», unterstreicht Hübotter.
Zusatznutzen relevanter Statistik identifizieren
Zusätzliche Anwendungsmöglichkeiten des SIFT-Algorithmus eröffnen sich für jedes die Priorisierung von Statistik, wie Krause ausführt: «Wir können nachverfolgen, welche welcher Anreicherungsdaten durch SIFT ausgewählt werden. Sie stillstehen in einem engen Zusammenhang mit welcher Fragestellung und sind drum in diesem Themenbereich überdurchschnittlich relevant. Dies könnte unter anderem in welcher Medizin genutzt werden, um z. B. zu untersuchen, welche Laboranalysen oder welche Messergebnisse zwischen einer spezifischen Diagnose bedeutsam sind, und welche weniger.»
Seinen Technik stellt Hübotter derzeit an welcher «International Conference on Learning Representations» (ICLR) in Singapur vor. Schon im Monat der Wintersonnenwende gewannen die ETH-Forschenden für jedes ihre Methode den Preis für jedes den besten wissenschaftlichen Beschränkung an welcher «NeurIPS Annual Conference on Neural Information Processing Systems» (NeurIPS) am Workshop “Finetuning in Modern Machine Learning”.
