А где оно действует-то? В виртуальном мире симулятора, в реале робота гоняет или просто само с собой разговаривает? И если в реале, то как вообще связывают текстовое описание действия с самим действием?
а как угодно! гпт очень удобно (кхм талантливо) сжирает все апишки. Куда воткнешь туда и будет действовать. Как пример работа с терминалом/писать скрипты на виртульной системе или выполнять задачи в условном манйкрафте ("построй мне домик и накопай алмазов. сhop chop") или блокнот + браузер или что угодно