momants-tester — dashboard

Overzicht

Health en status van de API, plus snelle tellingen. Alles wat je hier of in andere tabbladen doet, verschijnt onderin in het activiteitenlog.

Agents

Naam WebSocket URL Extern agent-id (optioneel) Actief

Agent-id (bewerken / verwijderen)

Sync vanuit Momants: Haal alle agents op uit je Momants account en maak ze automatisch aan in de tester.

Momants API token

Scenario’s

Naam Doel (goal)

Success criteria Scenario group id (optioneel) Max turns Actief

Venue types (locatietypes)

Template variables (JSON)

Gebruik {{event_name}} in naam, goal of success criteria.

Scenario-id

Scenario groups

Naam Omschrijving

Group-id

Jobs

Laad eerst de tabellen bij Agents en Scenario’s (of gebruik Overzicht) zodat je hier agents en scenario’s kunt koppelen.

Naam Omschrijving Cron (optioneel) Actief

Agents (Ctrl/Cmd + klik) Scenario’s (Ctrl/Cmd + klik) Scenario groups (Ctrl/Cmd + klik)

Run-config (judge + simulators)

Judge = OpenAI (Responses API). Simulators lopen via OpenRouter (provider: openrouter + model-id zoals op openrouter.ai/models). Zet OPENROUTER_API_KEY in je .env.

Judge (OpenAI) Evaluatiemodus Herhalingen per scenario Grounded fact-check

Scenario tags (komma-gescheiden, filter op naam/goal/criteria)

Venue types (filter op locatietype)

Simulators (meerdere modellen = meerdere runs per agent×scenario)

Laad een job (Ophalen) om scenario-variabelen in te vullen. Waarden gaan mee via POST /api/v2/jobs/…/run.

Handmatige JSON (overschrijft het formulier indien ingevuld)

default_run_config (job opslaan / aanmaken)

Run-body alleen bij Run nu

Job-id

Run-queue

Er draait maximaal één run-sessie tegelijk over alle agents (globale FIFO). Per agent: na een geslaagde run geldt standaard 30 min cooldown (AGENT_TEST_COOLDOWN_SECONDS); bij mislukking is dat AGENT_TEST_COOLDOWN_AFTER_FAILURE_SECONDS (standaard 0). Admin: RUN_QUEUE_ADMIN_SECRET in de API-.env.

Admin-geheim (wachtwoordveld, alleen lokaal)

Conversations

Kies een conversation om berichten en status te zien. passed, failure_reason en rollen staan expliciet in beeld. Live status: verbinden…

Filter

Agent-filter (id)

Conversation-id

V2 Ops — orchestrator & run control

Live status van de V2 orchestrator. Pause/Resume/Stop werken via POST /api/v2/sessions/{id}/* en zijn coöperatief: de runner stopt bij de eerstvolgende veilige boundary (tussen turns of vóór de judge-call). Zet hieronder je RUN_QUEUE_ADMIN_SECRET voor de Authorization: Bearer … header.

Admin-geheim (Bearer) Auto-refresh (5s)

Run queue (orchestrator cache)

Workers

—

FAQ tester

Upload een CSV- of JSON-bestand met Q&A-paren. De AI genereert automatisch de zoekquery en categorie per vraag en runt de test tegen de search tool van de agent.

Agent Context (optioneel)

Bestand (CSV of JSON)

Geen bestand gekozen

Testgeschiedenis

Tijdstip	Agent	Totaal	Geslaagd	Score	Kosten
Laden…

Logging & debug

Hier zie je alle requests, responses en (optionele) debug-events van de frontend.

Activiteitenlog (requests & antwoorden)

Debug modus