Jak vybalancovat inovace s bezpečností ve světě umělé inteligence? Integrační architekt Michal Bartosz v CETIN podcastu sdílí své zkušenosti s nasazováním AI. Varuje před riziky podcenění bezpečnosti, ale zároveň ukazuje možnosti, jak moderní technologie reálně zefektivňují práci.

Michal Bartosz vystudoval IT a deset let pracoval jako full stack vývojář. Do společnosti CETIN nastoupil v roce 2017. Nabídku dostal od svého bývalého kolegy zrovna ve chvíli, kdy čekal na letišti na spoj na Azory. „Životopis jsem tehdy v rychlosti sepsal na koleni přímo v letištní hale a hned mu ho poslal.“

Náplň práce ho zaujala natolik, že se nakonec rozhodl opustit svět programování a vyměnit ho za roli integračního architekta. „Integrační platformy jsem předtím roky vyvíjel, takže jsem rozuměl tomu, jak fungují zespodu. Dělat integračního architekta mi přišlo jako dobrá možnost, jak se v kariéře posunout dál.“

Když k nám nastupoval, fungoval CETIN podle Michala jako takový velký start-up. „Všechno bylo nové. Spoustu věcí jsme nastavovali od začátku a teprve to rozbíhali. Dnes už je situace úplně jiná. Čelíme výzvám spojeným s rozrůstáním firmy a zrychlováním byznysu. Je mnohem větší tlak na to dodávat služby rychleji.“

Jako integrační architekt pomáhá určovat, jakým způsobem spolu komunikují desítky až stovky systémů, které CETIN využívá. „Potřebují si povídat standardizovaným způsobem, aby z toho nebyla jedna velká zoo.“ Michal tak určuje výběr technologií pro jednotlivé systémy i pravidla jejich vzájemného sdílení dat.

Dnes s integrací pomáhá také umělá inteligence. „Jazykové modely samy o sobě o firmě ani o našich datech nic nevědí. Aby mohly být užitečné, musíme je na naše systémy napojit.“

K tomuto účelu vznikají i nové standardy a protokoly, které umožňují AI agentům bezpečně komunikovat s interními systémy a získávat potřebná data. Novinkou jsou v této oblasti třeba MCP servery. „Jde o standardizovaný katalog toho, co může náš systém AI poskytnout. Umělá inteligence tak může získávat živá data.“

Člověk by měl mít vždy AI pod dohledem

Při práci s umělou inteligencí Michal prosazuje princip „human in the loop“, tedy model, kdy člověk průběžně kontroluje a schvaluje výsledky dodané od AI. „Nejlépe se mi osvědčilo rozdělit složitou úlohu na menší kroky a mezi nimi mít lidskou kontrolu. Čím větší úsek má AI zpracovávat najednou, tím větší je pravděpodobnost, že udělá chybu. AI nepřemýšlí jako člověk. Nechápe fyziku ani kauzalitu. Pracuje s pravděpodobností toho, jaké slovo by mělo následovat. To je důvod, proč dokáže vytvořit přesvědčivý text nebo kvalitní shrnutí, ale zároveň generuje chyby.“

Umělou inteligenci nevyužívá jen v práci. Dlouhodobě experimentuje také s chytrou domácností. Mezi jeho projekty patří například řízení osvětlení nebo autonomní vytápění. „Pracuje s desítkami senzorů, předpovědí počasí, dokonce i stavem rolet. Dokáže je třeba vytáhnout a využít tak sluneční svit k přirozenému vytápění bytu.“

Bezpečnost firem nejvíc ohrožují jednotlivci

Při práci s AI je klíčové klást velký důraz na bezpečnost. Tento aspekt přesto mnoho lidí i firem podle Michala podceňuje. „Pokrok jde rychleji než bezpečnostní standardy. Všichni si s AI hrají, ale málokdo přesně ví, co všechno může způsobit a jaká data se mohou vynést ven.“

Mezi časté typy útoků patří prompt injection nebo model poisoning, kdy útočník manipuluje vstupy tak, aby AI začala generovat nesprávné výsledky. „Umělá inteligence je pak schopná například tvrdit, že když se pustí sklenice na zem, tak poletí nahoru. Člověk ji pak už těžko přesvědčí o opaku. Do modelu stačí zanést třeba padesát špatných souborů nebo systém přehltit neustále opakovaným kontextem. V určité chvíli ho AI úplně vypustí a začne halucinovat. Časté jsou také soubory s bílým textem, který člověk jen tak nepřečte, ale AI ano.“

Zvlášť důležitá je otázka bezpečnosti pro organizace spravující kritickou infrastrukturu, kam spadá i CETIN. „Nemůžeme si dovolit, aby někdo získal přístup k citlivým datům nebo zneužil naše systémy.“ Podle Michala je však velmi těžké se všem útokům ubránit. Neexistuje totiž jednotný scénář aplikovatelný na všechny firmy, který by jim poradil, jak se stoprocentně zabezpečit. Každá firma si na to musí přijít sama.

Největší hrozbou však bude pro firmy vždy jednotlivec. „Nejde jen o to, jaká data umělé inteligenci zadáváte na firemním počítači, ale i o to, co si s ní píšete doma na osobním zařízení. Dobrý hacker si to dokáže propojit, a zaměstnanec může ohrozit firmu, ve které pracuje. Citlivá data bychom tak s umělou inteligencí neměli sdílet nikdy.“

​​Kvůli této komplexitě a bezpečnostním rizikům je zavádění AI do takto složitého prostředí podle Michala často procesem pokusů a omylů. „Příklad, který funguje jinde ve světě, u nás fungovat nemusí, protože máme jiná data a jiné systémy. I my si musíme prošlapat slepé uličky. Zkoušeli jsme například postavit chatbota pro zadávání dat, ale zjistili jsme, že starý dobrý formulář dává mnohem větší smysl,“ vysvětluje.

Umět programovat už nebude stačit

Umělá inteligence není všespásná a někde mnohem lépe fungují prvky automatizace nebo machine learning.

Existují ale oblasti, kde už dnes AI přináší velmi konkrétní benefity. „Výborně funguje při analýze logů nebo při hledání příčin chyb v komplexních systémech. Tam, kde člověk musí procházet desítky tisíc řádků technických záznamů, dokáže AI během několika sekund připravit srozumitelné shrnutí a výrazně urychlit práci specialistů.“

Mimo jiné pomáhá AI také při testování aplikací, analýze screenshotů nebo při vývoji softwaru.

Role IT specialistů se kvůli tomu budou muset do budoucna změnit. „Programování už nebude stačit. Člověk se bez skvělého promptování nebo kontroly výstupů neobejde. Ale že by programátorům umělá inteligence vzala úplně práci, se nebojím. Naopak, pokud ji budou umět využít, posune je to na úplně jinou úroveň. Věci, které dříve trvaly několik dní, zvládnou za pár hodin.“

Současně ale Michal upozorňuje na nový problém. Mladší vývojáři mohou na AI spoléhat až příliš. Získají sice rychle výsledky, ale často bez hlubšího pochopení principů, na kterých software stojí. To se ukáže jako kritické v krizových situacích. „Když vám ve tři ráno zavolají, že nefunguje systém s padesáti tisíci řádky kódu, který vám předtím vygenerovala AI a vy ho nepsali, jste namydlení. V ten moment potřebujete seniorního člověka, který rozumí architektuře, a ví, kam sáhnout. V tom stávající umělá inteligence zkušeného IT specialistu zatím nenahradí.“

S rozvojem umělé inteligence integračních výzev v CETIN přibývá a Michalův tým průběžně hledá nové talenty. „Hotových integračních architektů je málo, lidi si tu proto často vychováváme. Člověk ale musí být technicky silný a dost psychicky odolný, aby si dokázal prosadit správné řešení,“ uzavírá.

Chcete se kariérně posunout a řešit skutečné IT výzvy? Podívejte se na volné pozice na https://www.cetin.cz/kariera.