Да, загнанность магов, итог образа жизни или образа мышления самих магов. Фактически, маги магию не понимают и боятся, примерно как вопрос огнестрела в "сами-знаете-какой-стране".
Вполне возможно, именно образование отдельного магического общества загнало магов в самоизоляцию, а создание института власти, Министерства, сделало изоляцию устойчивой к попыткам что-то изменить, предложив рядовым магам иллюзию полноценной жизни в своем мирке.
В вашем мире интриганов, не исключено, что Министерство - креатура инквизиторов, которым выгодно, что б одна половина магов сидела, а вторая охраняла и все были этим довольны.