Das Gebäude wurde im Jahr 1595 erbaut. Ursprünglich wurde es als „Neue Herberge“, später mit „Bunter Löwen“ bezeichnet. Das von der Stadt erbaute Gasthaus war das erste Gebäude außerhalb der Stadtmauern Zwingenbergs. Das Gasthaus blieb über mehrere Generationen im Besitz der Familie Dieffenbach (historisch mit "ff" geschrieben). 

Im 20. Jahrhundert wechselten die Besitzer mehrmals. 2002 erwarb die Stadt Zwingenberg das Gasthaus und baute es aufwendig um. Heute beherbergt das Gebäude neben den städtisch genutzten Räumen ein Restaurant sowie zwei Veranstaltungsräume, den sogenannten Diefenbachsaal sowie den Löwenkeller, die über den Pächter des „Bunten Löwen“ angemietet werden können.