Auf dem Hügel von Kastelruth, der wohl schon eine prähistorische Befestigung trug und davon den Namen erhielt, erbauten die bereits im 11. Jh. erwähnten Herren von Kastelruth, brixnerische Ministerialen, im 12. Jh. eine Burg. Sie wurde 1262 von Bischof Bruno gebrochen, aber dann wiederhergestellt. 1675 ließen die Herren von Kraus die Ruine abtragen, den Burghügel ebnen und gestalteten ihn zu einem Kalvarienberg aus. Dabei blieb ein kurzes Stück Ringmauer und der zu einer Kapelle umgewandelte untere Teil des Bergfrieds bestehen, der regelmäßige Steinlagen und gebuckelte Eckquadern aufweist. Der Name Castelruptum erscheint zum ersten Male in einer Urkunde der Jahre 928 bis 987, in der Bischof Albuin von Brixen mit dem Bischof Eticho von Augsburg Kircheneinkünfte austauscht. Im Jahre 985 erschient der Name Castelruptum in einer Urkunde, eine Ruine bezeichnend.