OnnxRuntimeSessionOptions

Inheritance: java.lang.Object

public class OnnxRuntimeSessionOptions

Konfigurationsoptionen für die Erstellung einer ONNX InferenceSession. Wir empfehlen, die optimierten Vorgaben beizubehalten, es sei denn, Sie sind sich absolut sicher über die Änderungen. Für technische Details siehe die ONNX Runtime Dokumentation.

Konstruktoren

Konstruktor	Beschreibung
OnnxRuntimeSessionOptions()

Felder

Feld	Beschreibung
enableCpuMemArena	Aktiviert oder deaktiviert den von ONNX Runtime verwendeten CPU‑Speicher‑Arena‑Allocator.
enableMemoryPattern	Aktiviert oder deaktiviert die Speicher‑Muster‑Optimierung für Eingabetensoren.
executionMode	Ausführungsmodus für die Sitzung.
graphOptimizationLevel	Graph‑Optimierungsstufe für die Sitzung.
interOpNumThreads	Anzahl der Threads für die parallele Ausführung mehrerer Operationen.
intraOpNumThreads	Anzahl der Threads für eine einzelne Operation.

OnnxRuntimeSessionOptions()

public OnnxRuntimeSessionOptions()

enableCpuMemArena

public static boolean enableCpuMemArena

Aktiviert oder deaktiviert den von ONNX Runtime verwendeten CPU‑Speicher‑Arena‑Allocator. Wenn aktiviert, wird der Speicher gebündelt und wiederverwendet, um die Leistung zu verbessern, kann jedoch in multithreaded Szenarien zu erhöhtem Speicherverbrauch führen. Deaktivieren Sie diese Option, um den Spitzen‑Speicherverbrauch auf Kosten der Leistung zu reduzieren.

enableMemoryPattern

public static boolean enableMemoryPattern

Aktiviert oder deaktiviert die Optimierung von Speichermustern für Eingabetensoren. Wenn aktiviert, cached ONNX Runtime Speicherzuweisungsmuster für schnellere Ausführung, kann jedoch den Speicherverbrauch bei dynamischen Eingabeformen erhöhen. Deaktivieren Sie dies, wenn Eingaben stark variieren oder um den Speicherverbrauch zu reduzieren.

executionMode

public static ExecutionModeOnnx executionMode

Ausführungsmodus für die Sitzung. Standardmäßig werden Operatoren, wann immer möglich, gleichzeitig ausgeführt.

graphOptimizationLevel

public static GraphOptimizationLevelOnnx graphOptimizationLevel

Graphoptimierungsstufe für die Sitzung. Standardmäßig sind alle verfügbaren Optimierungen für maximale Leistung aktiviert.

interOpNumThreads

public static int interOpNumThreads

Anzahl der Threads für die parallele Ausführung mehrerer Operationen. Wenn sequentielle Ausführung aktiviert ist, wird dieser Wert ignoriert.

intraOpNumThreads

public static int intraOpNumThreads

Anzahl der Threads für eine einzelne Operation.