NVIDIA reduce memoria la Vera Rubin NVL72 pentru a coborî costurile, arată un raport GF Securities
NVIDIA ar face schimbări la configurația de memorie pentru rackurile Vera Rubin NVL72, ca să răspundă la prețuri mari și la o lipsă persistentă de memorie, potrivit unei analize GF Securities. Ideea este să se reducă partea din costuri care depinde de memorie, într-un moment în care producția nu ține pasul cu cererea. Raportul pornește de la faptul că, în trecut, compania a semnat acorduri pe termen lung pentru memorie, tocmai pentru a trece mai bine prin astfel de blocaje.
Vera Rubin NVL72 este descris ca unul dintre cele mai puternice sisteme AI la nivel de rack. După ce a fost anunțat în ianuarie, primele date de performanță au apărut la începutul acestei luni, după ce CoreWeave a publicat informații despre debit pentru mai multe sisteme AI. În cazul încărcăturilor de tip mixture of expert (MoE), sistemele pe GPU-uri Blackwell au ajuns la 80.000 de tokens pe secundă, la 150 megawați, iar platforma VR200 NVL72 a raportat 800.000 de tokens pe secundă.
Chiar dacă performanța este puternică, costurile pot deveni o problemă, mai ales din cauza prețurilor la memorie. Un raport anterior, realizat de Bernstein, a arătat că un rack NVL72 Rubin ar putea ajunge la aproximativ 9, 1 milioane de dolari, în principal din cauza memoriei. Tot atunci se menționa că estimările mai vechi, de 7, 8 milioane de dolari, s-ar fi bazat pe ipoteze legate de prețuri care nu mai reflectau realitatea. Bernstein a mai notat că prețurile la HBM4 ar putea urca la 53 de dolari pe GB în 2027.
GF Securities spune că, pornind de la rackurile Vera Rubin NVL72, NVIDIA ar tăia înjumătățirea capacității SOCAMM, de la module de 192 GB la 96 GB. Ajustarea ar fi legată de constrângerile din piața LPDDR5X. Pentru „Vera CPUs”, raportul estimează o scădere a memoriei la 28 TB, de la valori anterioare de 54 până la 55 TB, în timp ce GPU-urile ar rămâne cu 20, 7 TB de HBM4 per rack. Pentru rackurile cu CPU, SOCAMM ar urma și ele să fie 96 GB per modul.
Impactul financiar prezentat de GF Securities se referă mai ales la costurile LPDDR5X. Dacă capacitatea ar fi redusă la o pătrime, costurile ar putea coborî până la 293.000 de dolari pentru VR200, iar în alte scenarii până la 586.000 de dolari, fără a atinge o estimare anterioară de 1, 2 milioane de dolari. Raportul mai arată că, fără aceste ajustări, costurile de memorie ar putea ajunge la 29% din totalul costurilor de tip material din componența sistemului VR200, estimat la 2, 1 milioane de dolari, peste un nivel „preferat” de 20%.
