Sortie
L'AISI publie Transect, un outil open source pour analyser les transcriptions d'évaluations d'agents.
Le paquet Python, construit sur Inspect Scout, a reçu le soutien de Meridian Labs.
Un rapport interactif place les étiquettes d'activité, l'usage des tokens et les événements sur une même chronologie.
Des LLM choisis par l'utilisateur étiquettent les séquences d'activité selon ses propres catégories.
Les étiquettes renvoient à la transcription, et les désaccords entre jugements des modèles restent visibles.