Testy penetracyjne AI i LLM od prompt injection do wpływu na systemy.

Nie. Testujemy również systemy generujące dokumenty, klasyfikatory, workflow, agentów, RAG, funkcje API oraz LLM ukryte za formularzem.

Możemy rozpocząć od interfejsu użytkownika. Dostęp do architektury, promptów, konfiguracji RAG i listy narzędzi zwiększa pokrycie.

Tak. Sprawdzamy separację użytkowników i tenantów, retencję, logi, linki share, indeksowanie oraz możliwość ujawnienia danych przez odpowiedzi lub narzędzia.

Tak. Dla potwierdzonych klas błędów przygotowujemy scenariusze, które mogą zostać wykorzystane po naprawie i w dalszym rozwoju produktu.

Tak. Sprawdzamy bezpośredni, pośredni i wielomodalny prompt injection, jailbreaking, payload splitting oraz instrukcje ukryte w dokumentach, obrazach i treściach pobieranych z Internetu. Oceniamy nie tylko odpowiedź modelu, lecz także wpływ na dane, narzędzia i procesy biznesowe.

Tak. Weryfikujemy możliwość ujawnienia danych innych użytkowników i tenantów, sekretów, historii rozmów, danych treningowych, logów, treści RAG oraz informacji przekazywanych do zewnętrznych modeli. Sprawdzamy również retencję, linki współdzielone i eksporty.

Tak. Analizujemy pochodzenie modeli, adapterów, datasetów, bibliotek, kontenerów, promptów, rozszerzeń i zewnętrznych dostawców API. Szukamy niezweryfikowanych artefaktów, podatnych zależności, ryzyka przejęcia modelu oraz słabych kontroli integralności.

Tak. Badamy zatruwanie danych treningowych, fine-tuningu, pamięci długoterminowej, dokumentów RAG i baz wektorowych. Sprawdzamy, czy atakujący może utrwalić instrukcję, zmanipulować klasyfikację albo wpłynąć na odpowiedzi innych użytkowników.

Tak. Traktujemy odpowiedź modelu jako niezaufane dane i testujemy jej dalsze użycie w HTML, Markdown, SQL, powłoce systemowej, poczcie, plikach, JSON i automatyzacjach. Szukamy między innymi XSS, injection, SSRF, niebezpiecznych linków i wykonania poleceń przez downstream.

Tak. Weryfikujemy uprawnienia agentów, function calling, wtyczki, konektory i akcje wykonywane bez potwierdzenia człowieka. Sprawdzamy zasadę najmniejszych uprawnień, możliwość łączenia narzędzi oraz scenariusze prowadzące do wysłania wiadomości, zmiany danych lub wykonania transakcji.

Tak. Sprawdzamy ujawnienie promptu systemowego, instrukcji deweloperskich, polityk, nazw narzędzi i danych konfiguracyjnych. Sam wyciek promptu oceniamy w kontekście wpływu: czy ułatwia obejście kontroli, dostęp do sekretów albo wykorzystanie innych podatności.

Tak. Testujemy izolację tenantów w bazie wektorowej, kontrolę dostępu do dokumentów, embedding inversion, błędy filtrowania metadanych, konflikt źródeł i poisoning RAG. Weryfikujemy, czy użytkownik może odzyskać treść, do której nie powinien mieć dostępu.

Tak. Oceniamy halucynacje, błędne cytowania, nieuzasadnioną pewność, podatność na manipulację źródłami i ryzyko podjęcia decyzji na podstawie niezweryfikowanej odpowiedzi. Sprawdzamy mechanizmy groundedness, provenance, abstention i human-in-the-loop.

Tak. Badamy brak limitów tokenów, zapętlone działania agentów, kosztowne prompty, masowe wywołania, denial of wallet, kolejki, timeouty i możliwość ekstrakcji modelu przez API. Raport zawiera limity techniczne i biznesowe, które ograniczają koszt oraz utratę dostępności.

Tak. Testujemy delegowanie zadań, przekazywanie kontekstu, zaufanie między agentami, pamięć, planowanie, tool chaining i możliwość eskalacji uprawnień przez sekwencję pozornie dozwolonych akcji. Szczególną uwagę poświęcamy akcjom nieodwracalnym i granicom zatwierdzania.

Tak. Sprawdzamy instrukcje ukryte w obrazach, PDF, dokumentach biurowych, metadanych, OCR i treściach pobieranych przez konektory. Test obejmuje również różnice między tym, co widzi użytkownik, a tym, co faktycznie trafia do modelu.

Tak, gdy te ryzyka występują w zakresie produktu. Oceniamy ekstrakcję zachowania modelu, nadużycie logprobs, inference attacks, adversarial inputs, omijanie klasyfikatorów oraz możliwość odtworzenia danych lub funkcji modelu przez kontrolowane zapytania.

Budujemy zestaw powtarzalnych przypadków testowych z wariantami językowymi, rolami, kontekstem i oczekiwanym skutkiem bezpieczeństwa. Retest ocenia redukcję prawdopodobieństwa oraz, przede wszystkim, ograniczenie wpływu przez autoryzację, sandboxing, walidację i zatwierdzanie akcji.

Prompt injection polega na dostarczeniu instrukcji, która zmienia zamierzone zachowanie modelu lub systemu. Może prowadzić do ujawnienia danych, obejścia reguł, użycia narzędzia albo wykonania nieautoryzowanej operacji. Ryzyko oceniamy na poziomie całego produktu, nie tylko treści odpowiedzi.

Agent AI może czytać dokumenty, planować kroki i wywoływać narzędzia. Złośliwa instrukcja ukryta w wiadomości, stronie lub pliku może nakłonić go do zmiany planu, pobrania danych albo wykonania akcji. Dlatego testujemy granice uprawnień, zatwierdzanie przez człowieka i autoryzację każdej operacji.

Direct prompt injection pochodzi bezpośrednio od użytkownika rozmawiającego z modelem. Indirect prompt injection znajduje się w zewnętrznej treści przetwarzanej przez system, na przykład dokumencie RAG, e-mailu, stronie WWW lub obrazie. W obu przypadkach kluczowe jest ograniczenie wpływu na dane i narzędzia.

RAG, czyli Retrieval-Augmented Generation, uzupełnia odpowiedź modelu treściami pobranymi z dokumentów lub baz wiedzy. Błędy filtrowania, metadanych i autoryzacji mogą ujawnić dane innego użytkownika albo tenantu. Dokument może też zawierać pośredni prompt injection wpływający na model i agenta.

Sprawdzamy ingest dokumentów, źródła, chunking, embeddingi, metadane, filtrowanie tenantów, uprawnienia, cytowania i pamięć. Testujemy poisoning, odzyskiwanie cudzych dokumentów, manipulację rankingiem oraz instrukcje ukryte w treści. Wynik obejmuje zarówno wyciek danych, jak i wpływ na działanie agenta.

To zestaw najważniejszych klas ryzyka dla aplikacji wykorzystujących modele językowe. Zakres BSTA obejmuje wszystkie pozycje OWASP LLM Top 10 2025, w tym prompt injection, wycieki, supply chain, poisoning, output handling, excessive agency, system prompt leakage, RAG, misinformation i unbounded consumption.

Chatbot koncentruje się na rozmowie i danych, agent dodatkowo wykonuje narzędzia, RAG pobiera wiedzę, a własny model wprowadza ryzyka treningu, ekstrakcji i supply chain. Zakres budujemy dla rzeczywistej architektury produktu i badamy granice zaufania między wszystkimi warstwami.

Podstawowy zakres zaczyna się od 4 000 PLN netto. Realizacja testu zajmuje od 5 dni roboczych. Cena i termin zależą od liczby modeli, ról, źródeł RAG, narzędzi, integracji i procesów biznesowych, a ostateczne warunki potwierdza oferta.

Testujemy separację użytkowników i tenantów, retencję, logi, pamięć rozmów, cache, linki współdzielone, eksporty, bazy wektorowe i przepływ danych do dostawców modeli. Sprawdzamy również, czy prompt lub narzędzie może ujawnić dane, których użytkownik nie może odczytać przez zwykłe API.

Tak. Testujemy aplikację i jej integrację niezależnie od dostawcy modelu: klucze, role, retencję, routing, fallback, RAG, narzędzia, logi i obsługę odpowiedzi. Uwzględniamy funkcje konkretnej platformy, ale odpowiedzialność za autoryzację i bezpieczne użycie danych pozostaje po stronie produktu.

Model safety koncentruje się często na szkodliwych lub niedozwolonych treściach, a test jakości na poprawności odpowiedzi. Pentest bezpieczeństwa sprawdza, czy system może ujawnić dane, wykonać nieautoryzowaną akcję, zostać zatruty albo narazić organizację na koszty i utratę dostępności. Te obszary uzupełniają się, ale nie są zamienne.

Wykonawca powinien łączyć znajomość AI z klasycznym bezpieczeństwem aplikacji, API, chmury i autoryzacji. Warto wymagać testów rzeczywistego wpływu, agentów, RAG i narzędzi, przykładowego raportu oraz metody niedeterministycznego retestu. Samo generowanie obraźliwych odpowiedzi nie jest pełnym pentestem AI.

Raport powinien opisywać model, role, źródła danych, RAG, narzędzia i granice zaufania, a dla każdego problemu wskazywać wpływ, CVSS, OWASP LLM, PoC i naprawę. Potrzebne są także warianty testowe, kryteria zamknięcia, kontrola niedeterministyczności i retest potwierdzający ograniczenie wpływu.