GPU-Nutzungsmessung und Kostenzuweisung
Verstehen Sie, wer GPU-Kapazität nutzt, wie viel verbraucht wird und wo teure Ressourcen ungenutzt bleiben.
Sensaka misst die Beschleunigernutzung über Projekte, Mandanten, Modelle und GPU-Typen hinweg. Es wandelt Scheduling- und Infrastrukturdaten in nachvollziehbare Kartenstunden-Datensätze, Auslastungsansichten und Eingaben zur Kostenzuweisung für Enterprise-AI-Plattformen, gemeinsam genutzte Rechenzentren und Forschungsumgebungen um.
Gemeinsam genutzte GPU-Infrastruktur braucht einen einheitlichen Nutzungsnachweis
Wenn sich mehrere Teams dieselbe GPU-Umgebung teilen, erklärt die Zuweisung allein noch nicht den Verbrauch. Ein Projekt reserviert möglicherweise mehrere GPUs, nutzt sie aber nur wenig. Ein anderes Team verwendet unter Umständen partitionierte Beschleuniger für kurze Inferenz-Workloads. Trainings-, Entwicklungs- und Inferenzaufgaben können unterschiedliche GPU-Modelle mit unterschiedlichen internen Kostensätzen nutzen. Auch Energie-, Storage- und Token-Verbrauch müssen möglicherweise demselben Projekt zugeordnet werden.
Ohne ein einheitliches Messmodell fällt es Infrastrukturteams schwer, folgende Fragen zu beantworten:
Sensaka erstellt die Nutzungsdatensätze, die zur Beantwortung dieser Fragen erforderlich sind.
GPU-Kartenstunden messen
Die primäre Messeinheit von Sensaka ist die GPU-Kartenstunde. Kartenstunden werden wie folgt berechnet:
Kartenstunden = Anzahl der zugewiesenen Karten × Zuweisungsdauer
Bei partitionierten oder virtuellen Beschleunigerressourcen kann die Nutzung gemäß der vereinbarten Partitionsgewichtung anteilig umgerechnet werden. So entsteht eine einheitliche Basis, um Workloads zu vergleichen, die unterschiedlich viele Beschleuniger über unterschiedlich lange Zeiträume nutzen.
Die Messrichtlinie sollte während der Implementierung festgelegt werden, insbesondere wenn unterschiedliche Partitionstechnologien und Beschleunigerhersteller zum Einsatz kommen.
Nutzung der richtigen Business-Dimension zuordnen
Sensaka kann die gemessene Nutzung nach vier zentralen Zuweisungsdimensionen strukturieren.
Projekt
Verstehen Sie, wie viel GPU-Kapazität jedes AI-Projekt verbraucht, und vergleichen Sie die Nutzung über Trainings-, Inferenz- und Entwicklungsaktivitäten hinweg.
Mandant oder Team
Stellen Sie Nutzungsansichten für Abteilungen, Forschungsgruppen, Kunden oder interne Plattform-Mandanten bereit, die sich die Infrastruktur teilen.
Modell oder Service
Ordnen Sie die Ressourcennutzung einem Modell, Inferenz-Service oder einer Workload-Kategorie zu, sofern die entsprechenden Service- und Workload-Labels verfügbar sind.
Beschleunigertyp
Trennen Sie den Verbrauch nach GPU- oder NPU-Modell, damit Organisationen Nutzung und Kosten über verschiedene Hardwareklassen hinweg vergleichen können.
Diese Dimensionen geben Finance-, Plattform- und Infrastrukturteams eine gemeinsame Struktur für die Analyse.
Ungenutzte und wenig genutzte Kapazität identifizieren
Zugewiesene Kapazität ist nicht immer produktive Kapazität. Sensaka kombiniert Scheduling-Datensätze mit Auslastungsdaten, damit Teams Folgendes erkennen können:
Diese Ansichten unterstützen Entscheidungen zur Rückgewinnung von Ressourcen, zu Quotenänderungen, Scheduling-Richtlinien und zur Platzierung von Workloads außerhalb der Spitzenzeiten. Die Dauer der Speicherbelegung kann ebenfalls ergänzt werden, sofern die erforderlichen Beschleuniger- und Workload-Daten verfügbar sind und der Kunde die Reporting-Methode festgelegt hat.
GPU-Messung um Token- und Infrastrukturkostendaten erweitern
GPU-Kartenstunden bilden die zentrale Nutzungsbasis. Sensaka kann zusätzlich weitere Verbrauchsdaten verknüpfen, sofern die relevanten Quellen und Labels verfügbar sind.
Token-Nutzung
Erfassen Sie Token-Volumen, Durchsatz, Modellverteilung und das Ranking der Service-Nutzung für unterstützte Inferenz-Services und Gateways.
Energieverbrauch
Nutzen Sie Leistungsdaten von Geräten, Racks oder PDUs als Eingabe für ein vereinbartes Energiezuweisungsmodell.
Storage-Nutzung
Beziehen Sie den Storage-Verbrauch ein, sofern das Storage-System eine geeignete Zuordnung nach Projekt, Mandant oder Workload liefert.
Stückkosten
Wenden Sie kundendefinierte Sätze an, um die internen Kosten von Kartenstunden, Beschleunigertypen, Modellen oder Projekten zu vergleichen.
Diese Erweiterungen erfordern konsistente Identitäts-Labels und vereinbarte Abrechnungsregeln. Sensaka liefert die operative Datengrundlage, während der Kunde die finanziellen Sätze, die Zuweisungsrichtlinie und die buchhalterische Behandlung festlegt.
Von der Messung zu Showback und interner Zuweisung
Sensaka ist darauf ausgelegt, mehrere Ebenen des Finanzmanagements zu unterstützen.
Nutzungs-Reporting
Zeigen Sie Ressourcenverbrauch und ungenutzte Kapazität nach Projekt, Mandant, Modell und Beschleunigertyp.
Showback
Geben Sie Teams eine transparente Sicht auf die von ihnen verbrauchten Infrastrukturressourcen, ohne dass dadurch eine finanzielle Belastung entsteht.
Interne Kostenzuweisung
Kombinieren Sie die Nutzung mit vereinbarten Sätzen, um Infrastrukturkosten auf Projekte oder Abteilungen zu verteilen.
Grundlage für Chargeback
Stellen Sie detaillierte, nachvollziehbare Nutzungsdatensätze bereit, die einem internen Abrechnungs- oder Finanzprozess zugeführt werden können.
Sensaka sollte nicht als vollständiges Rechnungsstellungs- oder Finanzbuchhaltungssystem positioniert werden. Abrechnungszeiträume, Abrechnungsübersichten, Freigaben, Steuerregeln und die Rechnungserstellung erfordern unter Umständen eine Integration mit den Finanzplattformen und -prozessen des Kunden.
Ein praktischer Mess-Workflow
Zuweisungsereignisse erfassen
Erfassen Sie Start-, Änderungs- und Freigabeereignisse von Zuweisungen aus dem Workload-Scheduler, der Kubernetes-Umgebung oder der Ressourcenmanagement-Plattform.
Äquivalente Nutzung berechnen
Wandeln Sie Zuweisungen vollständiger Karten und partitionierter Ressourcen in die vereinbarte Einheit Kartenstunden um.
Business-Labels hinzufügen
Ordnen Sie den Nutzungsdatensatz mithilfe der Sensaka-CMDB und der Workload-Metadaten dem Projekt, Mandanten, Modell, Service und Beschleunigertyp zu.
Auslastungskontext hinzufügen
Vergleichen Sie zugewiesene Kapazität mit der tatsächlichen Aktivität, um ungenutzte oder wenig genutzte Ressourcen zu identifizieren.
Aggregieren und berichten
Erstellen Sie tägliche, monatliche oder kundendefinierte Nutzungsübersichten für Projekt-Reviews, Kapazitätsmanagement und interne Kostenzuweisung.
Prüfen und abgleichen
Ermöglichen Sie Plattform-, Betriebs- und Fachverantwortlichen, die Nutzungsgrundlage zu prüfen, bevor sie in einen finanziellen Abrechnungsprozess übernommen wird.
Wo GPU-Nutzungsmessung ansetzt
Showback für Enterprise-AI-Plattformen
Geben Sie jeder Abteilung eine monatliche Übersicht über GPU-Kartenstunden, Beschleunigertypen, ungenutzte Nutzung und den zugehörigen Inferenz-Verbrauch.
Ressourcenabrechnung für öffentliche Rechenzentren
Messen Sie die Nutzung nach Mandant und Projekt, um eine operative Grundlage für Serviceabrechnung und Kapazitätsplanung zu schaffen.
Zuweisung für Universitäts- und Forschungscluster
Verfolgen Sie den Verbrauch nach Forschungsgruppe, Fördermittel, Projekt oder Labor und identifizieren Sie gleichzeitig lang laufende, ungenutzte Reservierungen.
Kostenvergleich von Modellen
Vergleichen Sie die von unterschiedlichen Modellen oder Inferenz-Services genutzten GPU- und Token-Ressourcen, vorausgesetzt es liegen konsistente Labels und Kostenregeln vor.
Kapazitätsoptimierung
Nutzen Sie ungenutzte Kartenstunden und die zeitliche Verteilung, um zu erkennen, wann Ressourcen zurückgewonnen, neu eingeplant oder anderen Projekten angeboten werden können.
Budgetplanung
Nutzen Sie den historischen Verbrauch nach Projekt und Beschleunigertyp, um künftige Ressourcen- und Beschaffungsplanung zu unterstützen.
Alles, was das Messmodell braucht
Messung, verankert in der zugrunde liegenden Infrastruktur
Sensaka verknüpft die Messung mit der physischen und logischen Infrastruktur hinter dem Nutzungsdatensatz. Die Plattform kann ein Projekt mit seinem Workload, Container, seiner GPU, seinem Knoten, Beschleunigermodell und Infrastrukturkontext verbinden. So entsteht ein belastbarerer Nutzungsdatensatz als durch isolierte Auslastungsdurchschnitte.
Sensaka kombiniert die Kartenstunden-Messung außerdem mit Leerlaufanalyse, Token-Aktivität und Infrastrukturdaten, damit Teams sowohl Kostenzuweisung als auch operative Effizienz untersuchen können.
Regeln festlegen, bevor Berichte Entscheidungen leiten
Kunde und Sensaka sollten Folgendes festlegen:
Häufig gestellte Fragen
Was ist eine GPU-Kartenstunde?
Eine GPU-Kartenstunde entspricht einer vollständigen Beschleunigerkarte, die für eine Stunde zugewiesen ist. Mehrere Karten und längere Zeiträume werden miteinander multipliziert. Partitionierte Ressourcen können mithilfe einer vereinbarten Gewichtungsregel anteilig umgerechnet werden.
Misst Sensaka die tatsächliche Auslastung oder nur die Zuweisung?
Sensaka verwendet Zuweisungsdatensätze als Basis für die Messung und ergänzt sie um Auslastungskontext, um ungenutzte oder wenig genutzte Ressourcen zu identifizieren. Die finanzielle Behandlung sollte der mit dem Kunden vereinbarten Richtlinie folgen.
Kann Sensaka gemeinsam genutzte oder partitionierte GPUs messen?
Ja, sofern die Ressourcenplattform die erforderlichen Zuweisungsdaten bereitstellt. MIG, virtuelle GPU und andere Partitionstypen erfordern ein definiertes anteiliges Gewichtungsmodell.
Ist das eine vollständige Abrechnungsplattform?
Nein. Sensaka bietet Nutzungsmessung, Showback, Eingaben zur internen Kostenzuweisung und nachvollziehbare Datensätze. Die formale Rechnungsstellung, steuerliche Behandlung und Finanzbuchhaltung verbleiben normalerweise in den Abrechnungs- oder Finanzsystemen des Kunden.
Können Kosten nach GPU-Modell getrennt werden?
Ja. Die Nutzung kann nach Beschleunigertyp gruppiert und mit kundendefinierten internen Sätzen kombiniert werden.
Kann der Token-Verbrauch einbezogen werden?
Die Token-Nutzung kann einbezogen werden, wenn das Inferenz-Gateway oder die Model-Serving-Plattform Input- und Output-Tokens erfasst und Labels für Modell, Mandant und Projekt bereitstellt.
Können Energiekosten Projekten zugewiesen werden?
Energiedaten können mithilfe einer vereinbarten Zuweisungsmethode einbezogen werden. Eine genaue Zuweisung auf Projektebene erfordert einen verlässlichen Zusammenhang zwischen der Workload-Nutzung und den Leistungsdaten von Geräten oder Racks.
GPU-Verbrauch sichtbar und nachvollziehbar machen
Schaffen Sie für jedes Projekt, jeden Mandanten und jede Beschleunigerklasse einen verlässlichen Nutzungsdatensatz, und nutzen Sie ihn, um die Auslastung zu verbessern und interne Kostenentscheidungen zu unterstützen.
Weitere Themen: AI-Infrastruktur-Observability, AI-Infrastruktur-CMDB, Flüssigkeitskühlungs-Monitoring