Il primo castello fu costruito alla fine del XIV o all’inizio del XV secolo, forse iniziato da Henry Sinclair, conte di Orkney, barone di Roslin (ca. La famiglia Sinclair, o St Clare, era di origine francese e teneva Roslin dal 1280. Il castello fu costruito su un promontorio roccioso vicino al sito della battaglia di Roslin, dove gli scozzesi sconfissero gli inglesi nel 1303. Il figlio di Henry, Henry, secondo conte di Orkney (1375-1422 circa) costruì un nuovo torrione rettangolare, con angoli arrotondati, all’angolo sud-ovest. Il cortile era accessibile tramite un ponte levatoio su un fossato artificiale, che dava accesso ad un pendio nel piccolo campo nord.
Il castello conteneva uno scriptorium durante il XV secolo, e cinque manoscritti St Clair, risalenti al 1488, sono nella National Library of Scotland. Questi includono il manoscritto Rosslyn-Hay, ritenuto la prima opera esistente in prosa scozzese. Il castello fu danneggiato da un incendio domestico nel 1452. La leggenda narra che durante l’incendio domestico il conte era in costernazione a causa dei suoi preziosi manoscritti, ma essi furono calati in salvo da una finestra dal suo cappellano.
Roslin fu danneggiato più gravemente dal conte di Hertford, che bruciò il castello durante la guerra del Rough Wooing nel 1544. Il mastio fu quasi totalmente distrutto, anche se il suo unico muro in rovina è ancora visibile.
Il castello fu ricostruito alla fine del XVI secolo. Una nuova serie di cinque piani ad est fu costruita sul lato della roccia, e la guardiola fu ricostruita, questa volta con un ponte di pietra permanente. Nel 1591 il Laird di Roslin fu confiscato e il castello fu tenuto da William Leslie per il conte di Huntly. Il ribelle conte di Bothwell rimase, e se ne andò in fretta e furia lasciandosi alle spalle i suoi forzieri con vestiti e piatti d’argento.
La parte superiore della gamma orientale fu rinnovata nel 1622, con dettagli rinascimentali e intagli alle porte e alle finestre. Roslin soffrì ancora dall’artiglieria del comandante di Cromwell in Scozia, il generale Monck, nel 1650. Fu ulteriormente danneggiata da una folla riformatrice nel 1688. Nel 18° secolo la struttura era fatiscente, anche se una parte della parte est è sempre rimasta abitabile.
James Erskine ereditò le tenute di Rosslyn e Dysart nel 1789, da suo cugino James Paterson St Clair, adottando il cognome di St Clair-Erskine. Nel 1805, ereditò il titolo di Conte di Rosslyn (creato nel 1801 per Alexander Wedderburn); da quella data, la tenuta di Rosslyn è in possesso del Conte di Rosslyn.
Dal 1982 al 1988, la parte est fu restaurata dagli architetti Simpson e Brown.L’attuale proprietario, The Rt Hon. The 7th Earl of Rosslyn, un discendente dei Sinclair, affitta il castello come alloggio per le vacanze tramite il Landmark Trust. Il castello è un Monumento Antico Schedato e un edificio elencato nella categoria A.
.