OnnxRuntimeSessionOptions

Inheritance: java.lang.Object

public class OnnxRuntimeSessionOptions

Opsi konfigurasi untuk membuat ONNX InferenceSession. Kami menyarankan untuk mempertahankan nilai default yang dioptimalkan kecuali Anda sangat yakin dengan modifikasi tersebut. Untuk detail teknis, lihat dokumentasi ONNX Runtime.

Konstruktor

Konstruktor	Deskripsi
OnnxRuntimeSessionOptions()

Bidang

Bidang	Deskripsi
enableCpuMemArena	Mengaktifkan atau menonaktifkan alokator arena memori CPU yang digunakan oleh ONNX Runtime.
enableMemoryPattern	Mengaktifkan atau menonaktifkan optimasi pola memori untuk tensor input.
executionMode	Mode eksekusi untuk sesi.
graphOptimizationLevel	Tingkat optimasi grafik untuk sesi.
interOpNumThreads	Jumlah thread untuk menjalankan beberapa operasi secara paralel.
intraOpNumThreads	Jumlah thread untuk satu operasi.

OnnxRuntimeSessionOptions()

public OnnxRuntimeSessionOptions()

enableCpuMemArena

public static boolean enableCpuMemArena

Mengaktifkan atau menonaktifkan alokator arena memori CPU yang digunakan oleh ONNX Runtime. Ketika diaktifkan, memori dipool dan digunakan kembali untuk kinerja yang lebih baik, tetapi dapat menyebabkan peningkatan konsumsi memori dalam skenario multi-thread. Nonaktifkan untuk mengurangi penggunaan memori puncak dengan mengorbankan kinerja.

enableMemoryPattern

public static boolean enableMemoryPattern

Mengaktifkan atau menonaktifkan optimisasi pola memori untuk tensor masukan. Saat diaktifkan, ONNX Runtime menyimpan pola alokasi memori untuk eksekusi yang lebih cepat, tetapi dapat meningkatkan penggunaan memori untuk bentuk masukan yang dinamis. Nonaktifkan jika masukan sangat bervariasi atau untuk mengurangi jejak memori.

executionMode

public static ExecutionModeOnnx executionMode

Mode eksekusi untuk sesi. Secara default, operator dieksekusi secara bersamaan, bila memungkinkan.

graphOptimizationLevel

public static GraphOptimizationLevelOnnx graphOptimizationLevel

Tingkat optimisasi grafik untuk sesi. Secara default, semua optimisasi yang tersedia diaktifkan untuk kinerja maksimum.

interOpNumThreads

public static int interOpNumThreads

Jumlah thread untuk menjalankan beberapa operasi secara paralel. Jika eksekusi berurutan diaktifkan, nilai ini diabaikan.

intraOpNumThreads

public static int intraOpNumThreads

Jumlah thread untuk satu operasi.