Kaple je umístěna na kopci nad městem a je jednou z dominant města. Byla dostavěna r. 1697 a váže se k ní pověst, kdy při návratu z lovu se splašení knížecí koně zastavili těsně nad srázem a vděčný kníže dal na tomto místě postavit kapli – tolik pověst.
Sv. Florián byl po požáru města zvolen jako patron města (1690) a město v dohodě s knížetem Maxmiliánem z Lichtenštejna začalo v r. 1695 s budováním této kaple v barokním slohu. 1809 byla kaple znesvěcena a zpustošena francouzským vojskem. Obnovena byla v r. 1934. Původně měla uprostřed vysokou věž, zůstaly však jen čtyři vížky v rozích. Oltář zdobil obraz patrona města od Gutweina. V 60. letech 20 století však byla po několikerém poničení interiéru uzavřena a vnitřní mobiliář odstěhovaný.
Po roce 1989 byly obnoveny tradiční poutě na sv. Floriána začátkem května. Občas se zde konají i koncerty vážné hudby.