Primul castel a fost construit fie la sfârșitul secolului al XIV-lea, fie la începutul secolului al XV-lea, probabil început de Henry Sinclair, conte de Orkney, baron de Roslin (c. 1345-1400). familia Sinclair, sau St Clare, era de origine franceză și a deținut Roslin din 1280. Castelul a fost construit pe un promontoriu stâncos, în apropiere de locul bătăliei de la Roslin, unde scoțienii i-au învins pe englezi în 1303. Fiul lui Henry, Henry, al II-lea Conte de Orkney (c. 1375-1422) a construit un nou donjon dreptunghiular, cu colțuri rotunde, în colțul de sud-vest. în curte se intra printr-un pod rulant peste un șanț artificial, care dădea acces la un pandantiv în micul poligon nordic.
Castrul a conținut un scriptorium în secolul al XV-lea, iar cinci manuscrise St Clair, datând din 1488, se află la Biblioteca Națională a Scoției. Printre acestea se numără manuscrisul Rosslyn-Hay, considerat a fi cea mai veche lucrare existentă în proză scoțiană. Castelul a fost afectat de un incendiu domestic în 1452. Legenda spune că, în timpul incendiului domestic, contele a fost consternat din cauza manuscriselor sale valoroase, dar acestea au fost coborâte în siguranță de la o fereastră de către capelanul său.
Roslin a fost afectat mai grav de către contele de Hertford, care a ars castelul în timpul Războiului de la Rough Wooing din 1544. Donjonul a fost distrus aproape în totalitate, deși singurul său zid rămas în ruină poate fi încă văzut.
Castrul a fost reconstruit la sfârșitul secolului al XVI-lea. Un nou corp de rezistență de est cu cinci etaje a fost construit în partea laterală a stâncii, iar poarta a fost reconstruită, de data aceasta cu un pod de piatră permanent. În 1591, Laird of Roslin a fost confiscat, iar castelul a fost deținut de William Leslie pentru Contele de Huntly. Contele rebel de Bothwell a rămas și a plecat în grabă lăsându-și în urmă cuferele cu haine și farfurii de argint.
Partea superioară a intervalului de est a fost renovată în 1622, cu detalii renascentiste și sculptură la ușile și ferestrele din jur. Roslin a suferit din nou din cauza artileriei comandantului lui Cromwell în Scoția, generalul Monck, în 1650. A fost avariată și mai mult de o gloată reformatoare în 1688. în secolul al XVIII-lea, structura era dărăpănată, deși o parte din gama de est a rămas întotdeauna locuibilă.
James Erskine a moștenit moșiile Rosslyn și Dysart în 1789, de la vărul său James Paterson St Clair, ocazie cu care a adoptat numele de familie St Clair-Erskine. În 1805, a moștenit titlul de Conte de Rosslyn (creat în 1801 pentru Alexander Wedderburn); de la această dată, moșia Rosslyn a fost în posesia Contelui de Rosslyn.
Între 1982 și 1988, gama de est a fost restaurată de arhitecții Simpson și Brown.Actualul proprietar, The Rt Hon. The 7th Earl of Rosslyn, un descendent al familiei Sinclair, închiriază castelul ca locuință de vacanță prin intermediul Landmark Trust. Castelul este un Monument Antic Programat și o clădire clasată în categoria A.
.