Alteya
А что путается-то если помнит только путишественник во времени?
В целом, если взять одноименный эффекту фильм - там Эван вернувшись в прошлое менял ключевое событие. Далее история шла другой дорогой для всех, кроме него. Он помнил всё. Другие не помнили альтернативных вариантов.
Так и здесь - никто ничего бы и не вспомнил из альтернативного развития событий.