D.Afonso filho bastardo de D.João I, casa com D.Beatriz Pereira de Alvim, filha de D.Nuno Álvares Pereira em Novembro de 1401, tendo recebido a vila e Castelo de Chaves e a terra de Barcelos. Manda então construir este Paço Ducal e a muralha defensiva.Em 1415 aquando da conquista de Ceuta, o conde D. Afonso trouxe muitos despojos do Palácio de Zalabenzala para servirem na obra do seu paço em Barcelos, nomeadamente um tecto de uma sala, diversas colunas de alabastro, duas mesas de mármore e uma mesa de jaspe que foi para a Ermida de Nossa Senhora da Franqueira. O Paço estaria pronto em 1425.