Ein Zero Gap AI-Angebot Vapor IO und Vast bieten KI von der Edge über Core bis hin zur Cloud

Anbieter zum Thema

NVIDIA GmbH

VAST Data

Supermicro Germany

PANDUIT

Rittal GmbH & Co. KG

mehr weniger

FNT GmbH

weniger

Die Software-Anbieter Vast und Plattformbetreiber Vapor IO arbeiten daran, die vielen Herausforderungen zu lösen, die mit dem Einsatz von KI-Modellen über das gesamte Kontinuum von Edge über Core bis hin zur Cloud verbunden sind. Dazu gehört, dass Vapor IO die Vast-Datenplattform als Teil seines „Zero Gap AI“-Angebots einsetzen will.

Viele Unternehmen verbringen gleichermaßen viel Zeit damit, sich mit Inferenz-Anwendungen und KI-Modellen zu beschäftigen. Schließlich kann der Wert, der beim Training oder bei der Feinabstimmung eines Modells generiert wird, nur dann ausgeschöpft werden, wenn man damit beginnt, Geschäftsprozesse zu verändern. Diese Herausforderungen, die vor allem in kundenorientierten Szenarien auftreten, umfassen verschiedene Aspekte.

1. Die Kapazität des Modells

Sobald ein Unternehmen ein KI-Modell erprobt hat und mit seinem Verhalten zufrieden ist, muss es dieses in großem Umfang einsetzen. Dabei soll

• die Latenzzeit zwischen dem Benutzer und dem Modell minimiert werden,

• eine angemessene Bandbreite bereitgestellt werden; dies ist besonders wichtig für multimodale Modelle, und

• sichergestellt werden, dass angemessene GPU-Ressourcen zur Verfügung stehen.

Alle drei Faktoren sind entscheidend, um die Reaktionsfähigkeit des eingesetzten Modells zu gewährleisten, insbesondere bei steigender Nutzung.

Die Partnerschaft zwischen Vapor, Supermicro und Nvidia soll in die Kette für möglichst lückenlos gestalten. Sie sprechen von „Zero Gap“. Vapor IO kann durch die Nutzung der „Kinetic Grid-Plattform“ den Zugang zu mehreren Standorten in 36 Städten der USA mit „Supermicro MGX“-Servern, die mit mit „Nvidia GH200 Superchips“ ausgesattet sind und mit niedriger Latenz ermöglichen.

Ganz gleich, ob es sich um ein Krankenhaus, ein Einzelhandelsgeschäft, eine Fabrik oder ein Lagerhaus, ein Unterhaltungszentrum oder eine Stadtverwaltung handelt: Es sei möglich, ein Erlebnis zu bieten, als ob GPU-basierte Server in der eigenen Einrichtung vor Ort wären, ohne sich mit den damit verbundenen Kopfschmerzen auseinandersetzen zu müssen. Und es sei sichergestellt, dass das Netzwerk von Vapor IO mit seiner extrem niedrigen Latenz in der Lage ist, die Nachfrage zu befriedigen, indem es GPU-Ressourcen in der Nähe nutzt, wenn die Auslastung steigt.

2. Verfügbarkeit von Unternehmensdaten für die Erweiterung des Abrufs

Die nächste große Herausforderung ist die Verfügbarkeit von Daten aus der realen Welt. Generative KI ist sehr überzeugend, manchmal sogar zu überzeugend. Daher sind KI-Modelle für viele Anwendungsfälle am nützlichsten, wenn sie mit 'Retrieval Augmented Generation' (RAG) arbeiten. RAG ermöglicht es KI-Modellen, externe Daten mit dem beim Training erworbenen Wissen zu kombinieren, um genauere und zuverlässigere Antworten zu generieren.

Die Herausforderung bei RAG besteht darin, dass man oft Zugang zu einer großen Menge von Daten benötigt, die sich unter Umständen dauernd ändern. Hier kann die Vast-Datenplattform in mehrfacher Hinsicht helfen. Erstens bietet sie ein unternehmenseigenes Repository für Kundendaten in jeder Zero-Gap-Stadt. Der Hersteller bietet mehrere Möglichkeiten, Daten auf der Plattform abzurufen, von traditionellen Datei- und Objekt-Schnittstellen bis hin zu moderneren Ansätzen wie dem direkten Streaming von Daten mit Hilfe von „Kafka“.

Anschließend können diese Daten schnell zur Aktualisierung einer Vektor-Datenbank verwendet werden, die das KI-Modell wiederum sehr effizient durchsuchen kann. Schließlich sorgt der „Vast Dataspace“ dafür, dass alle Standorte auf dieselben Daten zugreifen können, ohne sie ständig replizieren zu müssen. Das bedeutet, dass Unternehmen, die RAG-fähige KI-Modelle auf Zero Gap eingesetzt haben, Antworten auf der Grundlage von im ganzen Land gesammelten Daten geben können, ohne dass das Modell verlangsamt wird.

3. Verfolgung von Aufforderungen und Antworten

KI ist von Natur aus nicht-deterministisch. Stellt man einem generativen KI-Modell 20 Mal dieselbe Frage, erhält man mindestens dieselbe Anzahl an verschiedenen Antworten. Aus diesem Grund ist es von entscheidender Bedeutung, alle Aufforderungen und Antworten an und von einem eingesetzten KI-Modell zu verfolgen. Dies gilt unabhängig von der Modalität: Text, Sprache, Bilder und Videos müssen alle gespeichert werden.

Außerdem besteht der Einsatz eines KI-Modells in den meisten Fällen aus mehreren Modellen. Eines davon ist ein generatives Modell, das die anfängliche Antwort ausarbeitet. Es wird jedoch in der Regel von traditionelleren ML-Modellen begleitet, die den Dialog auf Dinge wie Stimmung (ist der Kunde zufrieden oder frustriert?) und Geschäftsrisiken (gibt das Modell vertrauliche Daten preis oder macht es Versprechungen, die es nicht machen sollte?) untersuchen.

Die Speicherung und Verwaltung all dieser Daten ist an einem oder zwei Standorten eine Herausforderung, ganz zu schweigen von Dutzenden oder Hunderten. Hier kommt die Vast-Datenbank zur Hilfe. Sie bietet die Möglichkeit, strukturierte, tabellarische Daten zu speichern.

Darüber hinaus verfügt Vast über Integrationen mit Tools wie „Apache Spark“, mit denen Benutzer innerhalb von Sekunden Tabellen-Scans durchführen oder Projektionen aus Milliarden von Zeilen erstellen können. Durch die Nutzung der VAST-Datenbank zur Speicherung von Prompt, Antwort, Benutzer, Modell, Vektor-DB und vielen anderen Details, genießen die Nutzer der Zero-Gap-KI-Plattform eine vollständige Rückverfolgbarkeit aller KI-Vorgänge.

4. Modell-Repository und Versionierung

KI-Modelle sind nicht anders als der Code, den Unternehmen in ihren Anwendungen einsetzen. Es werden mehrere Versionen gleichzeitig in Gebrauch sein.

Ein Beispiel mit „Llama3“: Wenn ein Unternehmen ein Modell auf der Grundlage von „Llama2“ implementiert hat, wird es höchstwahrscheinlich eine Version dieses Modells auf der Grundlage von Llama3 testen. Wenn dieses Pilotprojekt gut läuft, wird das Unternehmen mit der Einführung beginnen wollen. Noch wichtiger ist, dass zwei Kopien der Vektor-Datenbank benötigt werden, je nachdem, welches Modell im Einsatz ist, weil sich die vorhandenen Einbettungen wahrscheinlich zwischen den Modellen geändert haben, wenn RAG verwendet wird.

Vapor IO und Vast machen diesen Prozess einfach. Mit den Werkzeugen von Vapor IO und dem Vast Dataspace und dem „Vast-Katalog“ können Benutzer nicht nur viele verschiedene Versionen ihrer Modelle haben, sondern auch ein vollständiges Audit-Protokoll darüber, welche Modelle an welchen Standorten mit welchen Datenquellen verwendet werden.

5. Modell-Sicherheit

Würde also ein Unternehmen seine eigenen Umgebungen für die Modell-Bereitstellung einrichten, wäre dies ein extrem langsamer, mühsamer und teurer Prozess. Daneben würde dies ein erhebliches Hindernis für die Einführung von KI bedeuten. Gleichzeitig sollte die Notwendigkeit, diese Umgebungen zu sichern, nicht unterschätzt werden. Es müssen nicht nur alle Rohdaten verschlüsselt und der Zugriff darauf kontrolliert werden, sondern es besteht auch die Gefahr, dass ein heimtückischer Akteur KI-Modelle missbraucht, um sich als das Unternehmen auszugeben und sehr schnell Schaden anzurichten.

„Zero Gap AI“ ist eine mandantenfähige Plattform, die diese Bedenken ausräumen kann, indem sie einen Zero-Trust-Ansatz für die Sicherheit von KI-Modellen verwendet. Angefangen bei der physischen Ebene wird der Zugang zu den Einrichtungen streng kontrolliert, was zu Sicherheitsmaßnahmen auf Netzwerkebene führt, die eine vollständige Isolierung des Datenverkehrs zwischen den Mietern gewährleisten. Dies wird durch den Einsatz von gehärteten Betriebssystemen, Trusted Platform Modules (TPMs) und sicheren Software-Stücklisten weiter verstärkt, um die Betriebsumgebung vor Kompromissen zu schützen.

Die Nutzung von Tenant-Identitätssystemen und externen Schlüssel-Managern stellt sicher, dass jeder Mandant die Kontrolle über seine Benutzer und Daten behält. Darüber hinaus wird durch die Bereitstellung unveränderlicher Snapshots gewährleistet, dass historische Daten den gesetzlichen Aufbewahrungs-Standards entsprechen.

Auch alle Datenzugriffs-Vorgänge werden umfassend geprüft. Die aktive Überwachung durch maschinelles Lernen ermöglicht es, verdächtiges Verhalten schnell zu erkennen und unter Quarantäne zu stellen. Durch die Zusammenarbeit von Vapor IO, Supermicro, Nvidia und Vast erhalten Unternehmen Zugang zu einer KI-Modell-Serving-Plattform der Enterprise-Klasse zu einem Preis, der eine einfache Einführung ermöglicht.

(ID:50031350)