Los restos encontrados en las escavaciones realizadas en los años 80 muestran asentamientos que van desde la época romana, pasando por la islámica (poco estudiada pero que atestigua la importante situación militar de Ixar, sobre todo en los dominios de las taifas y los almorávides, aunque hay fuentes que la nombran en la época califal de Abderramán en el siglo X, concretamente en el 935), y, como no, la cristiana, aunque siempre influida por lo musulmán.

Las fases de construcción de lo que fue el palacio en su periodo de esplendor deben corresponder en primer lugar al siglo XIV, época de asentamiento e importancia del mecenazgo señorial. Pero las fases llegan hasta la Primera Guerra Carlista, en la que el palacio se convirtió en fuerte, y como ejemplo de su perdición, en Cuartel de la Guardia Civil. Esto, unido al olvido de los duques, la dejadez del pueblo, la reutilización como casas humildes y el expolio lo llevó a la catástrofe.

Cuentan las crónicas que en este castillo estuvieron hospedados en sus viajes muchos de los más importantes reyes y príncipes de Aragón, como la hija de Alfonso II que dio nombre a una de las zonas cercanas al pueblo, "el Mirabayo".