Культура и магия - это все же разные вещи, магия могла прийти раньше, а социальный строй с аристократией позже.
А магия могла быть всегда, циркулирующая между мирами силами. Вариантов много, например, древние маги могли жить в обоих мирах до какой-нибудь катастрофы, хоть бы и затопление Атлантиды. И то, что маги должны уйти в какой-то другой мир - это не значит, что он их родной.

Мне вот интересно, захотят маги уйти, заберут с собой кентавров, вейл, русалок и гоблинов... но зачем им брать с собой, например, дементоров и оборотней? А когда маги уйдут - эти твари будут проблемой маглов. Дементоры будут пожирать души маглов и размножаться, а люди их даже не увидят, одновременно с этим будет расти ужасающая эпидемия оборотней, при этом только они, будучи магическими тварями, смогут видеть дементоров, а значит противодействовать им. При этом есть еще тролли, красные колпаки и другие темные существа, которые магам совершенно не нужны в их новом мире.

Кстати, а массовое жертвоприношение детей Слизерином мне что-то напомнило...
"И тогда на алтарь Равновесия я возложил сотни тел детей чистейшей магии. Мой ручной монстр собрал и принёс их мне в начертанный срок. Их кости и яд монстра послужили основой врат. Врат, за которыми нас ожидало спасение"
Может быть, будет какой-нибудь намек на шумеров или майя, там и там были особенные жертвоприношения.