Audyt gotowości systemu AI/LLM do produkcji.

Warunki wejścia

Audyt ma ustalić stan techniczny, a nie zasugerować z góry pozytywny wynik.

Początek audytu

Potrzebne materiały i dostępy

Audyt trwa 5–10 dni roboczych od momentu udostępnienia uzgodnionych materiałów i dostępów. Termin zaczyna biec wtedy, gdy można odtworzyć działanie systemu i sprawdzić obszary objęte przeglądem.

• Obecna architektura, repozytoria lub reprezentatywny kod oraz rozmowa techniczna z osobami, które utrzymują system.
• Reprezentatywne dane wejściowe, materiały ewaluacyjne, znane incydenty i przykłady błędów oraz obowiązujące kryteria jakości lub wydania.
• Dostęp tylko do odczytu do właściwych środowisk, telemetrii i konfiguracji dostawców, jeśli te informacje wpływają na ocenę.
• Ograniczenia produktowe, oczekiwane obciążenie, zasady dotyczące danych, konsekwencje biznesowe oraz osoby uprawnione do rozstrzygnięcia kwestii własności.

Granice przeglądu

Sprawdzamy całą usługę wokół modelu.

Dane

Jakość źródeł, uprawnienia, retencja, usuwanie i pochodzenie informacji.

Wyszukiwanie

Cykl życia indeksu, filtrowanie, ranking, cytowania i zachowanie przy nieaktualnym źródle.

Model

Dopasowanie do zadania, ograniczenia, zależność od dostawcy, tryb awaryjny i odpowiedzi poza zakresem.

Ewaluacja

Reprezentatywne dane, progi, zakres testów regresji i zasady podejmowania decyzji o wydaniu.

Integracja

Tożsamość, stan, interfejsy, idempotencja i błędy widoczne dla użytkownika.

Bezpieczeństwo

Dostęp, sekrety, przepływ danych wrażliwych, logowanie i walidacja danych na granicach systemu.

Niezawodność

Limity czasu, awarie zależności, działanie w trybie ograniczonym, przywracanie usługi i wycofanie wydania.

Utrzymanie

Telemetria, alerty, procedury, obsługa incydentów i wskazana odpowiedzialność.

Koszt

Budżet wnioskowania, wyszukiwania, przechowywania i obsługi przy oczekiwanym obciążeniu.

Własność

Prawo do podejmowania decyzji, własność kodu, luki w przekazaniu oraz kontrola zmian.

Pakiet przekazania

Co otrzymuje zespół

1. Wynik 01

   Mapa obecnej architektury

   Zwięzły opis komponentów, zależności, przepływu danych i granic operacyjnych, wraz z istotnymi niewiadomymi.

2. Wynik 02

   Rejestr ryzyk oparty na dowodach

   Zaobserwowane blokady i tryby awarii z materiałem lub źródłem potwierdzającym ustalenie, opisem skutków oraz wskazaniem odpowiedzialnego zespołu lub obszaru.

3. Wynik 03

   Plan napraw ułożony według priorytetu

   Kolejność prac oddzielająca warunki wstępne, redukcję ryzyka i zadania, które mogą bezpiecznie poczekać.

4. Wynik 04

   Kryteria gotowości produkcyjnej

   Mierzalne warunki dla jakości, danych, niezawodności, bezpieczeństwa, utrzymania, kosztu i własności.

5. Wynik 05

   Sesja decyzyjna

   Roboczy przegląd ustaleń, kompromisów i zalecanego kolejnego kroku z zespołem technicznym odpowiedzialnym za system.

Granica usługi

Zakres, którego audyt nie obejmuje

Ustalony zakres nie obejmuje implementacji produkcyjnej, testu penetracyjnego, certyfikacji zgodności, masowego porządkowania danych, trenowania modelu ani bieżącego utrzymania. Ryzyko krytyczne może wymagać natychmiastowej rozmowy, ale nie rozszerza automatycznie usługi.

Cena jest ustalana po potwierdzeniu dopasowania, ponieważ dostęp do systemu, jakość materiałów i granice przeglądu wpływają na nakład pracy. Najpierw ustalamy te fakty, bez sztucznego pośpiechu.

Osobny zakres

Wdrożenie po audycie

Jeśli współpraca jest dopasowana, RSI Tech może wdrożyć plan napraw albo pracować razem z obecnym zespołem. Implementacja jest wyceniana i uzgadniana osobno, z własnym podziałem odpowiedzialności, dowodami spełnienia kryteriów odbioru i własnymi zasadami wydania. Wyniki audytu pozostają użyteczne także wtedy, gdy wdrożenie prowadzi inny zespół.

Ustalenia

Pytania przed decyzją

Czy audyt kończy się werdyktem „gotowy” albo „niegotowy”?

Nie. Wynikiem są dowody, ryzyka i kryteria gotowości. System może być gotowy do ograniczonego wydania, a jednocześnie nie spełniać warunków szerszego zastosowania. Decyzja zawsze dotyczy opisanego zakresu zastosowania.

Czy potrzebny jest zapis do środowiska produkcyjnego?

Zwykle nie. Wystarcza nam dostęp tylko do odczytu i materiały pozwalające potwierdzić ustalenia. Jeśli twierdzenia nie da się sprawdzić bez ryzykownej lub niedostępnej czynności, zapisujemy ograniczenie zamiast dopowiadać wynik.

Co się dzieje, gdy brakuje dowodów?

Brak dowodu zapisujemy jako ryzyko z opisanymi konsekwencjami i kolejnym bezpiecznym krokiem. Może on blokować decyzję produkcyjną, dlatego nie zamieniamy go w pewny wynik punktowy.