A felhős AI-eszközök kényelmesek, de három dolgot nem te tartasz kézben: hová kerül a céges adatod, meddig férsz hozzá a szolgáltatáshoz, és mennyibe fog kerülni később. A legtöbb cégnek a legfontosabb ezek közül az adat: nem mindegy, milyen feltételekkel kerül egy ár-, ügyfél- vagy beszállítói adat egy külső szolgáltatóhoz. Erre van válasz: a kritikus, érzékeny részt bízd a saját szervereden futó, általad birtokolt AI-ra. Nem dogma és nem a felhő teljes kiváltása: okos hibrid. Ebben a cikkben végignézem, mit jelent ez a gyakorlatban, hol éri meg, és mit építek már ma ebből.
A kényelem ára, amit ritkán számolsz ki
Az AI-eszközök néhány kattintással bekapcsolhatók, és ez nagy csábítás. Csakhogy amit bekapcsolsz, az egy külső szolgáltató rendszere, és ezzel a céged működésének egy darabja az ő kezébe kerül.
A legtöbb cég ezt addig nem veszi észre, amíg minden zökkenőmentes. Pedig a kérdés egyszerű: ha holnap a szolgáltató megváltoztatja a feltételeket, az árat, vagy korlátozza a hozzáférést, az érint-e egy folyamatot, amire a működésed épült? Ha igen, akkor olyan szolgáltatótól függsz, amelynek a döntéseibe nincs beleszólásod.
És van egy ennél is fontosabb kérdés, ami magyar KKV-knál szinte mindig elsőre felmerül.
A legnagyobb tét: hová kerül az adatod?
Amikor egy felhős AI-nak átadsz egy dokumentumot (egy szerződést, egy árlistát, egy ügyfél-levelezést), a tartalom kikerül a cégedből, és egy külső szolgáltató dolgozza fel. Hogy ott pontosan mi történik vele, azt jó esetben egy szerződés szabályozza, de a kontroll nem nálad van.
Egy kereskedő vagy gyártó cégnél ez nem apróság. Az árképzésed, a beszállítói feltételeid és az ügyfeleid adatai üzleti értéket képviselnek, a kezelésük pedig felelősséggel jár. A GDPR a személyes adatokra továbbra is vonatkozik, bizonyos AI-felhasználásoknál pedig az EU AI Act előírásait is figyelembe kellhet venni. A „hová kerül az adat" tehát nem technikai nüánsz, hanem üzleti és jogi kérdés.
Ez a lényeg: az AI a saját szervereden vagy gépeden fut, az érzékeny adat pedig a saját, általad felügyelt környezetedben marad. Nem kell betekintésért könyörögnöd egy külső szolgáltatónál.
Mit jelent a saját gépen futó AI a gyakorlatban?
A saját gépen futó AI nem egy márka és nem egy varázsdoboz. Annyit jelent, hogy a mesterséges intelligencia a saját vagy kontrollált környezetedben fut (a te hardvereden, vagy egy általad kézben tartott EU-s rendszerben), nem egy külső felhőben.
Fontos, hogy ez nem a felhős AI teljes kiváltása. A reális kép ennél árnyaltabb: a kritikus, érzékeny adatokat kezelő és állandóan használt részt helyben futtatod, a többit hagyhatod a felhőben, ha ott olcsóbb és jó. Erről mindjárt részletesen.
A lényeg az irány: az érzékeny adat a saját vagy általad kontrollált környezetben marad, a hozzáférés és a működés pedig a te kezedben van.
Hol éri meg a helyi megoldás, és hol marad jó a felhő?
Ez nem hitvita. A jó döntés szinte mindig egy okos keverék.
Egy nagy szolgáltató felhős AI-ja jó választás, ha kísérletezel, ha csak alkalmanként van rá szükség, vagy ha a feladat nem érzékeny. Gyors, nincs belépő-költség, és a legújabb modelleket kapod.
A helyi, saját szerveren futó rendszer akkor nyer, ha:
- érzékeny adattal dolgozol (ügyfél, ár, beszállító, egészségügy, jog),
- az AI a működésed állandó, beágyazott része, nem alkalmi,
- számít a kiszámítható, fix költség,
- és fontos az EU-s adatkezelés, meg az, hogy tisztában legyél az AI Act előírásaival.
A legtöbb cégnél a kettőt érdemes együtt használni: a hétköznapi, nem érzékeny feladat mehet a felhőbe, az érzékeny adatokat kezelő rész pedig helyben fut. Ez a hibrid megközelítés: nem mindent vagy semmit.
Amit már ma építek ebből
Ez nem elmélet. A saját munkámból tudom, hogy működik a saját szerveren futó AI. Csak olyan megoldásról írok itt, amelyet már elkészítettem, vagy amelynek a működését méréssel ellenőriztem.
Privát, helyben futó ügyfél-asszisztens. Egy magyar kereskedő KKV-nál egy próba során olyan privát AI-asszisztenst építettem, amelynek a működését meg is mértem, és amely a cég saját rendszerének tudásából válaszol, és helyben futó architektúrára épül: úgy tervezve, hogy az ügyfél tudásanyaga ne kerüljön külső AI-szolgáltatóhoz. Ezt nem ígéretként mondom: a mérhetőség a lényeg. A javítások előtt és után is lemértem a rendszert: a hibás adatot adó esetek száma négyről egyre csökkent, és a maradék egyet is célzottan javítottam.
Helyi anonimizáló réteg a felhő elé. Oda is építek hidat, ahol mégis felhős AI-t használna a cég: egy helyben futó kísérleti megoldásban (POC) azt teszteltem, hogyan lehet magyar szövegben még a cég saját rendszerén belül felismerni és kezelni az érzékeny adatot, mielőtt bármi külső eszközbe kerülne. A nehéz része nem a csere, hanem a pontos felismerés: épp ezen dolgoztam a legtöbbet.
Több ügyfél, elszigetelt adat. A helyi rendszeremet úgy építettem, hogy az ügyfelek adatai az adatbázisok szintjén fizikailag elkülönüljenek egymástól. Célzott méréssel azt is ellenőriztem, átszivárog-e adat egyik ügyféltől a másikhoz. Ezekben a tesztekben nem tapasztaltam átszivárgást.
Saját hardveren futó nagy nyelvi modell. A háttérben egy helyi, általam üzemeltetett nyelvi modell dolgozik a saját gépemen: vagyis az AI-feldolgozás kritikus része saját kézben tartható, kötelező külső AI-felhő nélkül.
A belépő reálisan: nem kell szupergép
Sokan azt hiszik, a helyi AI-hoz nagyvállalati nagyvas kell. Ez ma már nem igaz.
Egy használt, 24 GB-os videokártya (RTX 3090) jó kiindulás kisebb terhelésre: több jól körülhatárolt KKV-feladatra már reális kezdés. Ha komolyabb, állandó terhelésre tervezel, egy komolyabb helyi konfiguráció egyetlen erősebb kártyára (RTX PRO 6000) és egy modern, helyben futtatható, nyílt súlyú, megengedő licencű modellre épül (a piacon több ilyen is elérhető, jellemzően Qwen-alapú), amely a megfelelő méretben nagyjából 24 GB videómemórián elfut. Ennek a „nyílt súlyú" résznek a saját kézben tartás szempontjából épp ez a lényege: egy ilyen modellt szabadon letölthetsz és ténylegesen birtokolhatsz (bárki ellenőrizheti), nem egy zárt API-tól függsz, amit bármikor elvehetnek tőled. Ezt a méretezést azért ajánlom, mert magam jártam utána a hardverigénynek, nem csak egy katalógust néztem meg.
A pontos konfiguráció a terheléstől függ; a felmérésen a te igényeid alapján méretezem. A céged helyzetétől függően többféle finanszírozás is szóba jöhet. Ezt érdemes a konzultáción átnézni, mert nem mindegyik használható minden célra.
És a hozzáférés meg az ár: a függetlenség, ami időszerű
Eddig az adatról volt szó, mert a legtöbb cégnek az a fő tét. De van egy második, ma különösen időszerű érv a saját szerveren futó megoldás mellett: a függetlenség egy külső kapcsolótól.
A nagy AI-szolgáltatók hozzáférési feltételei és árazása változik. Ami tegnap olcsón és korlátlanul elérhető volt, holnap drágábbá válhat, vagy korlátozhatják a hozzáférést, és erről nem te döntesz. Ha egy folyamatod erre épült, egy ilyen külső döntés megzavarhatja a működésedet.
Ezt nem kell drámaként felfogni, és főleg nem összeesküvésként. Érdemes ugyanúgy kezelni, mint bármelyik kritikus beszállítói függőséget: egy felelős cég nem alapozza a működésének fontos részét egyetlen olyan forrásra, amelyre nincs ráhatása. A helyi kapacitás ezt a kockázatot csökkenti: a kritikus rész nem egyetlen külső szolgáltató döntésétől függ, és a helyi rendszer költsége nem közvetlenül a felhős AI-szolgáltató árazásától függ.
Gyakori kérdések
Akkor most ne használjak felhős AI-t?
De, használj ott, ahol jó. Egy felhőben futó nagy modell gyors és kényelmes megoldás kísérletezésre és nem érzékeny feladatokra. A lényeg, hogy az érzékeny adatokat kezelő részt ne add ki a kezedből. A reális válasz a hibrid, nem a mindent-vagy-semmit.
Mennyibe kerül elindulni a helyi AI-val?
Az induló költség a hardver és a bevezetés költségéből áll össze; használt 24 GB-os kártyával alacsonyabb, mint sokan gondolják. A pontos számot a te terhelésedre a felmérésen számolom ki, kitalált árat nem mondok.
Lassabb a helyben futó modell, mint a felhős?
A megfelelő modellméret és hardver mellett a hétköznapi céges feladatokra elég gyors. Nem a leglátványosabb modellt keresem, hanem olyat, amelyik megbízhatóan elvégzi a feladatodat.
Tényleg nem megy ki az adatom?
A helyi rendszernél a feldolgozás a saját vagy kontrollált EU-s környezetben marad. Ahol mégis felhős eszközt használnál, oda helyi anonimizáló réteg építhető a felhős eszköz elé; nálam ennek már kísérleti megoldása (POC) futott: a cél, hogy az érzékeny adatot még a cég saját rendszerén belül kezeljem, mielőtt külső eszközbe kerülne.
Kis cégnek is reális ez?
A belépő szint igen. Hogy nálad hol éri meg helyi rendszert használni, hol elég a felhő, és mi a józan első lépés, azt a felmérésen átnézem veled.
Hol kezdj?
A saját szerveren futó AI nem egy nagy, mindent felforgató projekt: egy döntési kérdés. Hol van olyan érzékeny adatod vagy állandó AI-terhelésed, amit nem akarsz külső kézben tudni? Ott éri meg helyben futtatni az AI-t. A többi mehet a felhőben, ha ott jó.
Foglalj egy díjmentes felmérést. Egy beszélgetés alatt ezt nézem át veled:
1. Érzékeny adat: mely folyamatban van érzékeny adat vagy állandó AI-terhelés.
2. Hol éri meg a helyi út, és hol elég a felhő.
3. Reális belépő: milyen hardver és bevezetés kell hozzá, túlígéret nélkül.
Ha kifejezetten a saját adatból, forrással válaszoló privát asszisztens érdekel, erről külön oldalon írtam részletesen. A felmérés díjmentes és kötelezettségmentes.
Nem magát az AI-t árulom, hanem azt, hogy rend legyen a cég működésében, és te tartsd kézben, ki mit lát az adataidból. A saját szerveren futó AI ennek az egyik eszköze: ott, ahol tényleg számít.
Hivatkozások:
- Európai Bizottság: az EU AI Act hivatalos áttekintése (digital-strategy.ec.europa.eu)
- Nemzeti Adatvédelmi és Információszabadság Hatóság (naih.hu): GDPR-kontextus