Pe scurt: întrebarea nu este dacă rulați modele local sau în cloud, ci pentru ce etapă de lucru. Antrenarea pe seturi mari de date rămâne treaba cloudului. Prototiparea zilnică și prelucrarea datelor proprii, mai ales când acestea nu au voie să părăsească firma, ajung de obicei mai ieftin și mai simplu pe o stație dedicată.
Ce comparăm, de fapt
Orele de GPU închiriate înseamnă capacitate de calcul plătită la minut sau la oră, pornită când aveți nevoie și oprită după. Costul pe unitate este cunoscut, costul lunar nu, pentru că depinde de cât folosiți.
O stație locală înseamnă un echipament cumpărat o dată, disponibil permanent, cu un cost care nu crește oricât l-ați folosi. Costul lunar este previzibil, investiția inițială nu este.
Diferența esențială nu este între „ieftin” și „scump”. Este între o cheltuială care crește cu utilizarea și una care nu crește deloc.
Cum calculați punctul de echilibru
Calculul este simplu și merită făcut înainte de orice discuție tehnică. Estimați câte ore pe lună veți folosi efectiv capacitatea de calcul, înmulțiți cu tariful orar al furnizorului și comparați cu amortizarea stației pe patru ani, la care adăugați energia electrică și timpul de administrare.
Regula care rezultă aproape întotdeauna este aceasta: dacă echipamentul ar sta aprins și ocupat în cea mai mare parte a zilei de lucru, varianta locală câștigă. Dacă aveți nevoie de calcul intens câteva zile pe lună, închirierea câștigă detașat. Nu folosiți prețuri găsite pe internet, cereți tarife reale pentru configurația de care aveți nevoie, pentru că diferențele între furnizori sunt mari.
Când merită local
- Datele nu au voie să plece. Date cu caracter personal, dosare de personal, proiecte sub acord de confidențialitate, documentație tehnică a clienților. Dacă prelucrarea rămâne în sediu, o parte din întrebările juridice dispar.
- Lucru zilnic, constant. O echipă care iterează în fiecare zi consumă ore pe care le plătiți de fiecare dată în cloud.
- Iterare rapidă. Fără încărcarea seturilor de date la fiecare rulare și fără așteptarea alocării de resurse.
- Costuri previzibile. Nicio factură surpriză după o săptămână în care cineva a uitat o resursă pornită.
- Lucru fără conexiune bună sau în locuri unde legătura este nesigură, cum sunt halele de producție și laboratoarele.
Când merită închiriat
- Antrenare pe seturi mari de date. Aici cloudul nu are concurență rezonabilă pentru o companie mică.
- Vârfuri scurte și rare. Plătiți exact cât consumați, fără să cumpărați pentru vârf.
- Nevoia de hardware de ultimă generație pentru puțin timp, fără să vă legați de o generație de echipamente.
- Modele foarte mari, care pur și simplu nu încap în memoria unei stații.
- Echipe distribuite, care au nevoie de aceeași resursă din locuri diferite.
Constrângerea reală este memoria, nu viteza
Cea mai frecventă surpriză la prima achiziție este că un model nu pornește deloc, nu că merge încet. Ce puteți rula local depinde în primul rând de cât de mult din model încape în memoria disponibilă pentru calcul. Viteza determină cât așteptați, memoria determină dacă aveți ce aștepta.
De aceea dimensionarea pornește de la întrebarea „ce model trebuie să încapă”, nu de la bugetul disponibil. Specificațiile stației pe care o propunem pentru acest tip de lucru sunt pe pagina Dell Pro Max cu GB10.
Partea de confidențialitate
Trimiterea datelor către un serviciu extern este o prelucrare, cu tot ce decurge din asta: temei legal, informarea persoanelor vizate, contract cu furnizorul, verificarea locului unde ajung datele. Pentru multe companii, întrebarea nu este cât costă ora de calcul, ci dacă au voie să trimită materialul acolo.
Prelucrarea locală nu elimină obligațiile, dar elimină o parte dintre ele și simplifică discuția cu clienții care impun condiții contractuale privind datele lor. Am scris pe larg despre împărțirea responsabilităților în articolul despre cloud privat și cloud public, iar pentru firmele vizate de NIS2 gestionarea riscului legat de furnizori este chiar o măsură cerută.
Ce nu rezolvă o stație locală
- Nu înlocuiește cele mai mari modele disponibile ca serviciu. Pentru multe sarcini nici nu este nevoie, dar așteptarea trebuie să fie corectă.
- Nu vă scutește de reguli interne despre ce date se folosesc și cine are acces la rezultate.
- Are nevoie de administrare: actualizări, drivere, backup, securizare. Este un server, nu un aparat de cafea.
- Îmbătrânește. Generațiile de echipamente se schimbă rapid, iar amortizarea pe patru ani este o ipoteză, nu o garanție.
Cinci întrebări care decid
- Ce date prelucrați și au voie să iasă din firmă?
- În ce etapă sunteți: experimentați, sau rulați ceva stabil în fiecare zi?
- Câte ore pe lună ar fi echipamentul efectiv ocupat?
- Ce model trebuie să încapă, acum și peste un an?
- Cine administrează echipamentul și cine răspunde dacă se oprește?
Dacă nu aveți răspuns la primele trei, închirierea pentru câteva luni este decizia prudentă. Veți afla consumul real și veți cumpăra în cunoștință de cauză.
Ce facem noi
PRO IT dimensionează echipamentul pornind de la ce vreți să rulați, îl livrează și îl instalează ca Dell Technologies Gold Partner, îl integrează în rețea și în backup și îl ține sub mentenanță, ca orice alt server. Nu vindem ore de calcul, deci nu avem interes să vă împingem într-o direcție sau alta.
Dacă nu știți încă ce vă trebuie, spuneți-ne ce vreți să obțineți și cu ce date lucrați. Dimensionarea se face de acolo.
