Az első kastélyt a 14. század végén vagy a 15. század elején építették, talán Henry Sinclair, Orkney grófja, Roslin bárója kezdte el (kb. 1345-1400).A Sinclair vagy St Clare család francia származású volt, és 1280 óta birtokolta Roslint. A várat egy sziklás kiemelkedésre építették a roslini csata helyszínének közelében, ahol a skótok 1303-ban legyőzték az angolokat. Henrik fia, Henrik, Orkney 2. grófja (1375-1422 körül) új, téglalap alakú, kerek saroktornyos erődítményt épített a délnyugati sarkon, az udvarba egy mesterséges árok fölött átívelő felvonóhídon keresztül lehetett bejutni, amely hozzáférést biztosított a kis északi lőtéren lévő pendelyhez.
A várban a 15. században scriptorium működött, és öt, 1488-ból származó St Clair-kézirat található a Skót Nemzeti Könyvtárban. Ezek közé tartozik a Rosslyn-Hay kézirat, amelyről úgy vélik, hogy a legkorábbi fennmaradt skót prózai mű. A kastélyt 1452-ben házi tűzvész rongálta meg. A legenda szerint a házi tűz során a gróf megdöbbent az értékes kéziratai miatt, de azokat a káplánja egy ablakból biztonságba helyezte.
Roslint súlyosabban megrongálta Hertford grófja, aki 1544-ben, a durva udvarlás háborúja során felgyújtotta a kastélyt. A várőrség szinte teljesen elpusztult, bár egyetlen megmaradt romos fala még mindig látható.
A várat a 16. század végén újjáépítették. Egy új, ötemeletes keleti tornyot építettek a szikla oldalába, és a kaputornyot is újjáépítették, ezúttal egy állandó kőhíddal. 1591-ben a Laird of Roslin elesett, és a várat William Leslie birtokolta Huntly grófja számára. A lázadó Bothwell grófja maradt, és sietve távozott, hátrahagyva a ruhákkal és ezüsttálakkal teli kincstárát.
A keleti szárny felső részét 1622-ben felújították, reneszánsz részletekkel és faragásokkal az ajtó- és ablakkereteken. Roslin 1650-ben ismét szenvedett Cromwell skóciai parancsnokának, Monck tábornoknak a tüzérségétől. További károkat szenvedett 1688-ban egy református csőcselék. 18. századra az építmény leromlott, bár a keleti szárny egy része mindig lakható maradt.
James Erskine 1789-ben örökölte a Rosslyn és Dysart birtokokat unokatestvérétől, James Paterson St Clairtől, amire felvette a St Clair-Erskine vezetéknevet. 1805-ben megörökölte a Rosslyn grófja címet (amelyet 1801-ben Alexander Wedderburn számára hoztak létre); azóta a Rosslyn-birtok a Rosslyn grófjának birtokában van.
1982 és 1988 között a Simpson és Brown építészek restaurálták a keleti részt.A jelenlegi tulajdonos, The Rt Hon. The 7th Earl of Rosslyn, a Sinclaire-ek leszármazottja, a Landmark Truston keresztül nyaralóhelyként bérli a kastélyt. A kastély ókori műemlék és A-kategóriás műemléképület.