Desde un principio consta que el Consejo de la Ciudad no utilizó las Torres de Quart como fortaleza para defensa de la ciudad, pues si bien la Diputación de la Generalidad del Reino por el año 1562 almacenaba allí la polvora necesaria para la defensa del territorio, y practicando por cuenta propia algunas obras, lo hizo sin duda a titulo precario, puesto que fue breve la ocupación.
Por primera vez son utilizadas como prisión en el año 1585, con motivo del incendio de la antigua  Casa de la Ciudad que estuvo situada a la entrada de la calle de Caballeros,  junto a la actual  Generalitat, incendio provocado por los presos que se hallaban recluidos en la cárcel municipal. Después cuando se habilitó para prisión las Torres de Serranos, pasaron allí los que  aqui se encontraban pasando entonces a ser prisión de mujeres en 1626.
El patriotico movimiento de 1808 contra la invasión de las tropas de Napoleón Bonaparte pusieron en conmoción al pueblo valenciano, quien necesitando los baluartes para la defensa de la ciudad, decidió trasladar las reclusas a otro lugar del interior de la ciudad amurallada.  Cuando el 28 de junio de 1808 asomaron las tropas del Mariscal Moncey por la calle de Quart, (entre 8.000 y 10.000 franceses) el arranque brioso del pueblo valenciano se impuso contra las armas de los invasores que, repetidamente, no sólo fueron rechazados sino obligados a retirarse.
Todavía en las torres,  pueden observarse los impactos de la artilleria francesa que bombardearon la ciudad de Valencia al  mando del Mariscal Moncey durante la guerra de la independencia.  En el proceso de restauración se ha querido dejar las huellas de los impactos de bala de cañón, en recuerdo del sitio y toma de Valencia durante la Guerra de la Independencia contra el francés, en total se han contabilizado 132 marcas de  bolaño (marcas de cañón) y mas de 1.000 perforaciones de proyectiles de fusil.
Posteriormente, cuando el Mariscal Suchet, tras largo asedio logra la rendición de la ciudad, las Torres de Quart quedaron a disposición de la autoridad militar, continuando en manos militares después de ser evacuada la ciudad por las tropas francesas en 1813. Desde entonces la grandiosa fortaleza quedó convertida en permanente prisión militar.  A pesar del derribo de las murallas en 1865, y la liberación en 1887 como carcel vulgar de las Torres de Serranos, la corporación municipal quiso recobrar las Torres de Quart y como las de Serranos, efectuar obras de reparación para devolver al grandioso edificio la belleza y esplendor que ocultaban las obras de interés carcelario allí realizadas.
De los avatares de la Guerra de la Independencia nos ha quedado una  lápida conmemorativa con el escudo de la ciudad, colocada por la Sociedad Lo Rat Penat que dice en letras rojas:  Als  heroes / de la guerra de la independencia / defensors de la ciutat / y de estes torres /  En XXVIII de juny de MDCCCVIII / Lo Rat Penat / Per a recort, en lo primer centenari.
Por encima de esta placa, otra lápida de mármol blanco dice: Ciudad de Valencia / Capital de Provincia / Puerta de Cuarte.
Y en letras rojas pintadas por encima de ambas lápidas un  vitor que alguien en alguna época quiso dejar para la posterioridad.
A la izquierda de la portada una placa en bronce hoy totalmente ilegible pero que sabemos que decía:
“A gloria e honor de nostre senyor i Deu Jhesus Salvador e senyor e del beanventurad sant Jordi aquest portal fon començat a XXII de juny de l’any de la nativitat de nostre senyor Mil  CCCCXXXXIIII regnant lo escelent rei e senyor Nalfons rei d’Arago e de les deus Cicilies: essent jurats en Pere Serra i Mossen Guillem de Pertusa,  generosos i Pere Andreu, Guillem Zaera, Lois Frigola y Manuel Lorens ciutadans”.
Como en las Torres de Serranos, el Ayuntamiento ha emprendido lentas y costosas obras de reparación y reconstrucción del histórico edificio valenciano, y donde es propósito de la corporación  municipal instalar un museo dedicado a las antiguas artes del hierro (forja), que tanta importancia ha tenido siempre en la historia gremial y artística de Valencia. Así en el año 1933 se procedió a una tímida restauración de las torres. Después de la Guerra Civil en la decada de los años 50 se volvieron a efectuar reparaciones entre las cuales  se incluyó la colocación de nuevas  almenas en lo alto de ambas torres ya que las que tuvo habian sido destruidas durante la Guerra de Sucesión a la Corona de España por las tropas bórbonicas de Claude François Bidal, marqués d’Asfeld. También de esta época es la liberación de las torres de todos los postizos  efectuados para adecuarlas a su uso como cárcel. Por fin entre 1976 y 1982 el arquitecto municipal Emilio Rieta López procedió a una  rehabilitación integral del edificio entre ellas la instalación de la escalera lateral neogótica que en la actualidad es la subida  habitual a las torres, estando realizada con los sillares del desaparecido Palacio de Parcent. En 2007 se realizó una limpieza total del conjunto y se abren las torres a las visitas turisticas.