| Nuotrauka | Produktas | Kaina | Talpa |
|---|
Modelio talpos supratimas
Modelio talpa reiškia parametrų, kuriuos AI modelis turi, skaičių (pvz., 70B = 70 milijardų parametrų). Didesni modeliai paprastai reikalauja daugiau atminties ir skaičiavimo galios, tačiau gali pasiūlyti geresnį samprotavimą ir išvesties kokybę.
Preciziškumas (FP16 / FP8 / FP4) turi įtakos tam, kiek atminties reikia tam tikrai modelio talpai: mažesnio preciziškumo formatai maždaug perpus sumažina atminties poreikius žingsniu žemyn (FP16 → FP8 → FP4), tačiau tai sumažina išvesties preciziškumą.
| Modelio dydis | Tipinė atmintis (FP16) | Tipinė atmintis (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |