2026. július 24., péntek · Kutatás

Bizalmas GPU-inferencia teljesítményvizsgálata NVIDIA H100-on Intel TDX környezetben

Kutatók összehasonlító mérést végeztek az NVIDIA H100 GPU-n futó nagy nyelvi modellek hagyományos és bizalmas számítástechnikai módú inferenciája között Intel TDX környezetben. A nem lektorált tanulmány a Mistral-7B és a Qwen3-30B-A3B modelleket vizsgálta. A szerzők szerint a bizalmas mód 21,8–27,8%-kal növelte az első token előállítási idejét, a globális áteresztőképesség pedig 17,7–21,1%-kal csökkent. Zárt hurkú tesztekben a veszteség 11,5–20,2% maradt, de a nagyobb modell hamarabb telítődött. Az eredmények szerint a bizalmas inferencia használható marad, de a kapacitástervezésnek számolnia kell a többletköltséggel.