El club surge de la fusión en 2001 del Almería Club de Fútbol y el Polideportivo Almería (refundación a su vez de la A.D. Almería en 1983, equipo que militó en la Primera división española) buscando así la unidad del fútbol en la capital almeriense para tener un equipo competitivo, de hecho la fusión fue aprobada en pleno municipal del ayuntamiento de Almería. Los primeros orígenes, sin embargo, de un club de fútbol de la capital se podrían remontar hasta 1909, con la denominación de Almería CF.

Ha tenido muchos entrenadores en su corta historia. Desde su creación hasta media temporada 2003-04 fue Juan Martínez Casuco, técnico con el que consiguió el ascenso a la Segunda división española, eludir el descenso la primera temporada en esa categoría y hacer un flamante comienzo de temporada en el otoño de 2003, que llegó a estar líder. A partir de ahí el equipo comenzó a caer en picado. Cuando se situaba en mitad de la tabla, Casuco fue destituido y ocupó su lugar provisionalmente Alfonsín, 2º entrenador con Casuco, que duró muy pocas jornadas, hasta que llegó Luís Ángel Duque. En las últimas jornadas éste último fue despedido y volvió Alfonsín, que consiguió mantener al equipo en la categoría. La temporada siguiente el equipo comenzó con el gallego Fernando Castro Santos, pero de nuevo fue destituido para que volviera Alfonsín y a las pocas jornadas traer a Paco Flores. El actual entrenador es Unai Emery.

En la temporada 2004/2005 se trasladó del Juan Rojas (antiguo Franco Navarro) al Estadio Mediterráneo, obra arquitectónica construida para los Juegos Mediterráneos Almería 2005.