Domačini imenujejo stari grad tudi »Spodnji grad« ali »Goležev grad«. Zadnje ime je bilo povzeto po domačem imenu bližnje domačije.

Na strmi vzpetini na levem bregu Hudinje ob vhodu v sotesko je nekoč stal mogočen kamnit grad, ki naj bi ga pozidali krški škofje v zgodnji romanski dobi, verjetno že v poznem 11. stoletju. Kot Castrum (grad) Weitenstein (ime po rodbini vitanjskih vitezov – tedanjih gradiščanov) se je grad omenjal že v letu 1140. Leta 1201 je bil v potresu poškodovan, a so ga obnovili. Do 1413 so ga upravljali vitanjski vitezi dokaj samostojno, nato pa kaštelani s sosednjega novega gradu. (Kaštelan je bil vojaški poveljnik trdnjave ali gradu, grajski oskrbnik, upravitelj.). 1413 se je omenjal Jošt Wegen, 1424 Andrej Žusemski, 1428 Jošt Soteški, ki je bil tedaj vazal celjskega grofa Hermana.