Durante a grande perseguição contra os cristãos, pelos romanos, decretada por Diocleciano em 303 d.C., foi preso em Braga um jovem catecúmeno de nome Victor. Por se recusar a prestar culto aos deuses pagãos, foi degolado no sítio ainda hoje denominado as Goladas.

No ano de 565, um arcebispo, de nome Vasco Mendes, doou a S.Martinho de Dume a sua Quinta de S.Vitouro, com a condição de erigir alium mosteiro. O arcebispo construiu então o mosteiro da Ordem de S.Bento, dedicado a S.Antão.

Este mosteiro ficou destruído durante as invasões árabes, e sería reconstruído em 1031 por um padre Nuno Forjaz. Em 1096 o seu padroeiro Nuno Soares doou o mosteiro ao arcebispo S.Geraldo. D.Paio Mendes (1118-1137) reconstruiu e sagrou a igreja, passando a usar o título de abade de S.Victor. Em 1486 o arcebispo D.Jorge da Costa manda reconstruir a igreja em estilo gótico. No séc. XVII o templo estava em ruína e o arcebispo D.Luis de Sousa (1677-1690) mandou reconstruir o actual templo. Ele foi projectado pelo engenheiro militar Michel Lescole, segundo os princípios do maneirismo, e terminada em 1697, já sob a influência do estilo barroco. No seu interior de salientar o retábulo mor do entalhador portuense Pascoal Fernandes, e os seus azulejos figurativos de 1692 pintados pelo mestre espanhol Gabriel del Barco y Minusca, e relatam episódios da vida de santos bracarenses, segundo o texto do arcebispo historiador D.Rodrigo da Cunha