AICloudCompareBegin bij het model, niet bij de hardware.
Als een gehoste dienst al een geschikt model draait, kan je applicatie de API van die dienst aanroepen. De provider regelt de rekenkracht daarvoor. Je moet nog wel rekening houden met de runtime van je eigen applicatie, dataopslag en de kosten voor modelgebruik.
Wanneer een beheerd endpoint zinvol is.
Met een beheerd endpoint kun je een model en een deploymentconfiguratie kiezen, terwijl de dienst delen van de serving-infrastructuur overneemt. Toegang, capaciteit en schaalinstellingen kies je nog steeds zelf. Controleer wat de dienst echt beheert en wat jouw verantwoordelijkheid blijft.
Wanneer je een eigen runtime overweegt.
Een GPU-instance kan nuttig zijn als je compatibele software, eigen modelgewichten of controle over de deployment nodig hebt die een beheerde dienst niet biedt. Die controle brengt ook verantwoordelijkheid mee voor updates, beveiliging, monitoring en herstel.