L’odierno Borgo di Vicoforte corrisponde quasi esattamente al Castello, che dunque non era limitato al palazzo del Governatore, ma comprendeva, assieme alla chiesa, ampi alloggiamenti racchiusi in imponenti fortificazioni. Lo dimostrano i resti delle mura, i nomi di luoghi ancora in uso (Fossato. Bastioni) e i documenti storici.