AICloudCompareJe model is niet het enige in het geheugen.
Modelgewichten nemen ruimte in. De runtime en actieve verzoeken hebben ook ruimte nodig. Langere contexten, meer gelijktijdige verzoeken en de manier waarop het model draait, kunnen de geheugenbehoefte veranderen. Houd ruimte over voor de complete workload, in plaats van alleen uit te gaan van de grootte van een modelbestand.
Precisie verandert de afweging.
Kwantisatie kan het geheugengebruik verlagen door waarden met een lagere precisie weer te geven. Ondersteuning en uitvoerkwaliteit verschillen per methode en model. Controleer de compatibiliteit en beoordeel het resultaat voor je eigen taak. Een geheugenbesparing is niet automatisch een snelheidswinst.
Test een representatieve workload.
Controleer of het model laadt en test daarna de invoer, uitvoerlengtes en het gelijktijdige gebruik dat je verwacht. Meet geheugengebruik, latentie en doorvoer. Een geslaagde korte prompt is geen capaciteitstest voor een drukke applicatie.