Il complesso venne eretto intorno al 1215 dal nobile Federico Vanga, vescovo di Trento dal 1207 al 1218. Lo scopo di Rafenstein era quello proteggere quella via altomedievale, che dall’area di Merano passava per la rovina di Castel Greifenstein e conduceva ai piccoli abitati di Cologna di Sotto e Avigna in Val Sarentino. Per questa ragione Rafenstein viene anche chiamato “Sarner Schlössl”, Castello di Sarentino. Allo stesso tempo il castello doveva difendere gli interessi del vescovo in un’area sempre minacciata dai conti del Tirolo e di Appiano. Durante il bellicoso conflitto tra il Vescovo Enrico II di Trento (1273 – 1289) e il Conte Mainardo II del Tirolo (1259 – 1295) Rafenstein venne completamente distrutto. Solamente tra il 1348 e il 1350 ebbero inizio i lavori di restauro del complesso. In quel periodo molti nobili si rivoltarono infatti contro Ludovico di Brandeburgo († 1361),  secondo marito della Contessa Margarete (Maultasch). Il principe iniziò dunque ad utilizzare il castello come base militare per il controllo della città vescovile di Bolzano.Uno stemma di marmo ricorda però il proprietario più noto del castello:si tratta del grande amante dell’arte Marx Sittich von Wolkenstein, il quale tra il 1599 e il 1601 trasformò il castello da fortezza a luogo di rappresentanza. A Rafenstein Marx Sittich redasse inoltre la prima descrizione del Tirolo. Tra il 1778 e il 1797 i Wolkenstein abbandonarono il castello.Nel corso delle guerre napoleoniche, e in particolare nella Battaglia di San Genesio dell’aprile del 1797, il castello, fino ad allora rimasto intatto, venne pesantemente danneggiato. Gli Schützen tirolesi e l’artiglieria austriaca sorpresero i francesi, insediatesi all’interno di Rafenstein, bombardandoli dal lato di San Genesio. Il risultato fu la rovina, rimasta tale fino ai giorni nostri.