Il Castello fu abitato nei secoli da diverse figure storiche di rilievo. Il castello fu inizialmente la residenza della potente famiglia dei Conti di Gorizia, che lo utilizzarono sia come centro amministrativo sia come dimora. Durante il loro dominio, il castello era il cuore del potere politico ed economico della contea. La dinastia si estinse nel 1500 con la morte dell'ultimo conte, Leonardo di Gorizia, evento che segnò il passaggio della contea sotto il controllo degli Asburgo, che lo utilizzarono prevalentemente come presidio strategico. Con il tempo fu parzialmente abbandonato, utilizzato per scopi pratici o militari, e subì danneggiamenti sotto il dominio austriaco.

Durante la Prima Guerra Mondiale fu gravemente colpito dai bombardamenti, segnando il definitivo abbandono come residenza. Restaurato nel XX secolo, oggi è una struttura museale che custodisce la memoria delle famiglie e delle autorità che vi abitarono, simbolo della storia di Gorizia.

La fortezza nel corso dei secoli è stata ampliata e modificata e presenta oggi una caratteristica architettura medievale, con mura merlate, torri robuste e un ampio cortile interno. L'interno del castello ospita il Museo del Medioevo Goriziano, che offre una ricca esposizione di reperti storici, armi, costumi e documenti, permettendo ai visitatori di immergersi nella vita e nelle tradizioni della Gorizia medievale. Le sale del castello, arredate in stile d’epoca, mostrano ambienti come la cucina, la sala dei cavalieri e le camere signorili, mentre le torri offrono scorci mozzafiato sulla città. Attraverso il portone principale, si accede a un percorso che conduce al Borgo Castello.