Матемаг, уверен, дойдёшь и поймёшь. Мне самому там в области КТП учить непочатый край как с качественных так и с количественных сторон.
Можно и теоретическую физику начинать учить, хотя это конечно смотря что ты больше хочешь понимать и какие методы тебе интересны и какие цели преследуешь. Если понимать мат.структуру существующий физических теорий то матфизика конечно.