Das denkmalgeschützte Gebäude in der Detmolder Hermannstraße, in dem sich der Kaiserkeller befindet, wurde vor über 115 Jahren erbaut, eine Gaststätte gibt es dort seit dem Jahr 1903.

In den heutigen Räumlichkeiten fanden früher schon Tanzveranstaltungen und seit etwa 1985 auch Livekonzerte statt – zuerst unregelmäßig und hauptsächlich in den Bereichen Jazz und Blues.

Der jetzige Pächter Stefan Schirlau übernahm 1999 den Kaiserkeller und baute das Veranstaltungsprogramm permanent aus, mittlerweile auf bis zu vier Veranstaltungen pro Woche. Schwerpunkt dabei sind Konzerte mit Jazz, Blues sowie Rock, Pop, Soul und Funk. Aber auch Singer/Songwriter-Konzerte sowie Lesungen und Poetry Slams spielen eine wichtge Rolle. Lokale, regionale aber auch internationale Musiker werden dabei in das Programm integriert.

Von Anfang an war es das Ziel, dem Nachwuchs in der Region eine Bühne zu geben. Schließlich sind die Möglichkeiten sich live zu präsentieren – gerade im ländlichen Kreis Lippe – sehr eingeschränkt. Bisher konnten schon hunderte Bands und Musiker aus der Region ihr Können auf der Kaiserkellerbühne unter Beweis stellen.

Der Kaiserkeller ist seit der Saison 2016 nur noch für Veranstaltungen geöffnet.