El Albacete Balompié fue fundado el 1 de agosto de 1940. Su primer presidente fue Antonio Lozano Matarredona. Su origen se sitúa en el Café Colón, entre un grupo de amigos que querían formar una sociedad deportiva: Antonio Tabernero, Pedro Monzón y el propio Antonio Lozano. La primera dificultad fue la de incorporar jugadores. Se reunió a los que habían pertenecido a los clubes antecesores SD Albacete y CD Albacete, donde había gente muy joven.
El primer nombre fue Albacete Fútbol Asociación, pero cuando la federación envió una circular en la que se exigía que se "españolizasen" los nombres de los clubes, Antonio Lozano propuso el de Albacete Balompié, denominación final del club.
Durante los años cuarenta la trayectoria del equipo discurre por la Tercera división del fútbol nacional cosechando magníficos resultados en todas las temporadas, siendo la peor clasificación el tercer puesto. Corre el año 1949 cuando se produce el primer ascenso a Segunda división, categoría en la que permanece durante dos temporadas consecutivas y a la que regresa de forma fugaz en 1961.
En la década de los años sesenta compite sin mayores sobresaltos en Tercera, hasta que en 1970 comienza un triste periplo por las categorías regionales que finaliza de forma definitiva en 1977 cuando consigue volver a Tercera división.
En 1982 se estrena en la Segunda división B, creada hacía pocos años, categoría en la que juega durante todos los años ochenta excepto en la temporada 1985-86 que lo hace en Segunda división de la mano de Julián Rubio y Ventura Martínez.
En esas andaba cuando Benito Floro y Rafael Candel en 1990 y en 1991 consiguen el doble ascenso desde Segunda B hasta Primera, donde debuta con un histórico séptimo puesto (logra mantenerse quince jornadas invicto). Se mantiene cinco años de forma consecutiva y alcanza las semifinales de la Copa del Rey en la temporada 1994-95, siendo eliminado por el Valencia.
El Alba desciende a Segunda división tras perder la promoción ante el Extremadura. Comienzan entonces unos años de grandes dificultades tanto deportivas como económicas, con continuos cambios de equipos técnicos y directivos. En la temporada 2002-03, repitiendo lo que ya pasó con Benito Floro, César Ferrando (otro entrenador desconocido y procedente de la Comunidad Valenciana) remodela por completo la plantilla y, tras una gran temporada, consigue el tan ansiado ascenso como tercer clasificado.
La última etapa histórica del club hasta la fecha se completa con otras dos nuevas temporadas consecutivas en Primera división. La 2004-05 supone el último descenso a Segunda división, después de cometer muchos errores tanto en lo deportivo como en lo económico, teniendo, para muchos, en la figura de su entonces presidente al principal responsable.
En la temporada 2010-11, tras varias temporadas al borde del descenso y tras una mala gestión deportiva y económica, el Albacete Balompié desciende a Segunda División B.
