Skály jsou stavební raritou mezi českými hrady
Jen zhruba šedesát let existoval na Vysočině hrad Skály, než byl pobořen jako sídlo loupeživé tlupy. Mezi českými hrady je výjimečný využitím skalních bloků při výstavbě hradu.
Hrad je vybudován v poměrně příkrém svahu a tři jeho obvodové stěny jsou tvořeny skalními bloky, které se rozevírají směrem k západu, kde přístup uzavírají dvě obvodové zdi s branami do hradu.
Hrad byl vybudován v letech 1376 až 1383 Archlebem ze stařechovické větve Kunštátů. Tento moravský šlechtic se rozhodl, že si vybuduje opevněný hrad jako své sídlo. Do té doby sídlil na tvrzi ve Stařechovicích, ale ta již podle všeho přestala vyhovovat. K jeho vybudování si vybral místo na okraji svých držav na Vysočině, které zahrnovali vsi Jimramov, Javorek, Pavlovice (dnes Jimramovské Pavlovice), Unčín (ten pravděpodobně nechal založit) a také nejspíš již zaniklou ves Skály, která pravděpodobně stávala v místech dnešních Jimramovských Pasek. Roku 1378 prodal Benešovi a Janovi z Vícova pět a půl lánu a dva podsedky v Bernově a také tvrz, dvůr a ves Ptení. Použité peníze posléze investoval do výstavby hradu Skály, jež začala někdy kolem roku 1380. První písemná zmínka o hradu pochází z roku 1384, kdy jej postoupil svým synům Erhartovi a Janovi.
Zatímco Jan se v pramenech už dále neobjevuje, Erhart patřil k významným postavám tehdejší doby – v roce 1398 ho markrabě Jošt jmenoval nejvyšším olomouckým sudím. Úmrtím Erharta v roce 1415 končí období, kdy hrad Skály plnil funkci sídla šlechtického rodu. V témže roce převzal majetek sirotčí správce Erhart Puška z Kunštátu a hrad se stal sídlem jeho loupeživé družiny. Po jeho smrti v roce 1419 se část družiny vrhá do nastávajících husitských válek.
Z písemných zpráv je doloženo, že ve čtyřicátých letech 15. století se na hradu Skály ukrývá více než pět stovek táboritů, v jejichž čele měl stát bývalý husitský hejtman Jan z Brezan. Jan z Brezan opustil hrad po složitých jednáních v roce 1440. Část jeho posádky odejít odmítla, a tak došlo k násilnému zni – čení hradu. Archeologickým výzkumem bylo doloženo, že dobytí hradu nebylo snadnou záležitostí, o čemž svědčí velké množství nalezených dělových koulí. Po urputných bojích byl hrad na podzim roku 1440 dobyt.