Zagadnienie tego, w jaki sposób agent AI podejmuje kolejne decyzje, dotyczy samego serca jego architektury. U fundamentu leży tak zwana pętla percepcja–planowanie–działanie, w której program najpierw rejestruje informacje z otoczenia, następnie rozkłada na czynniki dostępne możliwości, a wreszcie realizuje wybraną akcję. Cały ten cykl odtwarza się wielokrotnie, aż do osiągnięcia zamierzonego efektu.
Sercem tego procesu jest model językowy, który odgrywa rolę wewnętrznego głosu konsultacyjnego agenta. To on odczytuje polecenia użytkownika, dzieli złożone zadanie na drobniejsze podzadania i sugeruje kolejność ich realizacji. Środowisko modelu stanowią dodatkowe narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent uruchamia wtedy, gdy wymaga precyzyjnych danych spoza swojej wiedzy treningowej.
Ciekawym elementem architektury jest tak zwana pamięć operacyjna, w której agent przechowuje tło bieżącego zadania. Dzięki niej nie gubi wątku nawet wtedy, gdy proces rozkłada się na wiele etapów i potrzebuje przeskakiwania między różnymi źródłami informacji. To dokładnie ta umiejętność wyróżnia agenta od prostego skryptu, który odtwarza jedynie wcześniej ustaloną listę poleceń.
Oddzielną kwestią pozostaje mechanizm ewaluacji własnych działań. Dobrze skonstruowany agent jest w stanie zidentyfikować, że otrzymany wynik nie zgadza się od zamierzonego, i cofnąć się do poprzedniego etapu, by spróbować innej ścieżki. Taka samokorekta zbliża działanie maszyny do ludzkiego zwyczaju weryfikowania własnej pracy przed jej złożeniem.