El primer castillo se construyó a finales del siglo XIV o a principios del XV, tal vez iniciado por Henry Sinclair, conde de Orkney, barón de Roslin (c. 1345-1400). La familia Sinclair, o St Clare, era de origen francés y poseía Roslin desde 1280. El castillo fue construido en un promontorio rocoso cerca del lugar de la batalla de Roslin, donde los escoceses derrotaron a los ingleses en 1303. El hijo de Enrique, Enrique, segundo conde de Orkney (hacia 1375-1422), construyó una nueva torre del homenaje rectangular de esquinas redondas en la esquina suroeste, a la que se accedía a través de un puente levadizo sobre una zanja artificial, que daba acceso a un péndulo en la pequeña zona norte.
El castillo contaba con un scriptorium durante el siglo XV, y cinco manuscritos de St Clair, que datan de 1488, se encuentran en la Biblioteca Nacional de Escocia. Entre ellos se encuentra el manuscrito Rosslyn-Hay, que se cree que es la primera obra existente en prosa escocesa. El castillo fue dañado por un incendio doméstico en 1452. La leyenda cuenta que durante el incendio doméstico el conde estaba consternado por sus valiosos manuscritos, pero fueron bajados a un lugar seguro desde una ventana por su capellán.
Roslin sufrió daños más graves por parte del conde de Hertford, que quemó el castillo durante la guerra del cortejo rudo en 1544. La torre del homenaje quedó casi totalmente destruida, aunque todavía se puede ver el único muro en ruinas.
El castillo fue reconstruido a finales del siglo XVI. Se construyó una nueva zona este de cinco pisos en la ladera de la roca y se reconstruyó la casa de la puerta, esta vez con un puente de piedra permanente. En 1591, el laird de Roslin fue confiscado y el castillo pasó a manos de William Leslie para el conde de Huntly. El rebelde conde de Bothwell se quedó, y se marchó a toda prisa dejando sus arcas con ropa y platos de plata.
La parte superior de la gama este fue renovada en 1622, con detalles renacentistas y tallas en los marcos de puertas y ventanas. Roslin volvió a sufrir la artillería del comandante de Cromwell en Escocia, el general Monck, en 1650. En el siglo XVIII la estructura estaba en ruinas, aunque parte de la zona este siempre ha permanecido habitable.
James Erskine heredó las propiedades de Rosslyn y Dysart en 1789, de su primo James Paterson St Clair, tras lo cual adoptó el apellido de St Clair-Erskine. En 1805, heredó el título de Conde de Rosslyn (creado en 1801 para Alexander Wedderburn); desde esa fecha, la finca de Rosslyn ha estado en posesión del Conde de Rosslyn.
De 1982 a 1988, la zona este fue restaurada por los arquitectos Simpson y Brown.El actual propietario, el Honorable Séptimo Conde de Rosslyn, descendiente de los Sinclair, alquila el castillo como alojamiento de vacaciones a través del Landmark Trust. El castillo es un monumento antiguo catalogado y un edificio de categoría A.