La Fábrica de Tabacos fue creada en 1741, bajo el reinado de Felipe V, trasladándose a los locales de la alhóndiga de la calle Plocia. Se cerró en 1870, volviéndose a abrir en 1871. En 1881, a iniciativa del Ayuntamiento se acometen obras de adaptación y ampliación, acabándose los trabajos en 1885.

El edificio, proyectado por Federico Gil de los Reyes, es de tres pisos de altura y de planta irregular, formando una manzana exenta. La fachada es sobría en su decoración y de ladrillo visto, la cubierta es de cerámica vidriada. Su estilo es neomudejar.

Actualmente, trás el abandono de su actividad Industrial el edificio se ha convertido en Palacio de Congresos.