Das Kloster wurde 1502 in der Bergstadt Annaberg gegründet. Es bestand jedoch nur wenige Jahre, denn nach Einführung der Reformation in der Stadt 1539 verließen die Mönche die Stadt und das Kloster wurde aufgelöst. 1604 brannte das Gebäude ab und verfiel in den folgenden Jahrzehnten zusehends. Das Gelände wurde im 18. und 19. Jahrhundert neu bebaut, in diesen Gebäuden befinden sich heute Amtsgericht und Finanzamt. An das einstige Franziskanerkloster erinnern noch einige Mauerreste der Klosterkirche. Bleibende Bedeutung erhielt die Bibliothek des Franziskanerkloster in Annaberg. Sie wurde 1539 dem Rat der Stadt Annaberg übergeben, der sie ein Jahr später der St. Annenkirche überließ und von dort 1558 der städtischen Lateinschule zur Verfügung gestellt wurde. Nach dem Zweiten Weltkrieg gelangte die Bibliothek wieder zurück an die Kirchengemeinde und macht heute etwa ein Fünftel des Bliotheksbestandes der St. Annenkirche aus. Die "Schöne Tür" von Hans Witten befand sich ursprünglich im Franziskanerkloster wurde nach dessen Auflösung aber in die Annaberger St.Annenkirche versetzt. Auch andere Kunstgegenstände des Klosters finden sich heute in verschiedenen Kirchen des Erzgebirges.