Der Kreuzberg war bereits in vorchristlicher Zeit eine heidnische Kultstätte, bevor 1347 Lorscher Mönche hier eine Kapelle errichteten, die 1521 erstmals urkundlich erwähnt wurde, und den Kreuzberg zu einer Wallfahrtstätte machte.
Der Legende nach soll ein Jäger am Kreuzberg auf einen Hirschen gezielt haben. Kurz vor dem Fangschuss will er ein silbernes Kreuz im Geweih des Tieres bemerkt haben. Vom Glanz geblendet, ließ er die Flinte fallen und der Hirsch konnte sich aus dem Staube machen. Im 19. Jahrhundert soll an derselben Stelle wieder ein Jäger vergeblich versucht haben, einen Hirschen zu erlegen. An der Stelle, an der das Tier stand, will er dann ein Sandsteinkreuz entdeckt haben.
Vielleicht eine fromme Legende, vielleicht aber auch nur eine willkommene Ausrede für mangelnde Treffsicherheit derer, die am Abend zuvor zu tief in den Weinkrug geblickt hatten – wer weiß?