O primeiro castelo foi construído no final do século 14 ou no início do século 15, talvez iniciado por Henry Sinclair, Conde de Orkney, Barão de Roslin (c. A família Sinclair, ou Santa Clara, era de origem francesa, e tem tido Roslin desde 1280. O castelo foi construído sobre um promontório rochoso perto do local da Batalha de Roslin, onde os escoceses derrotaram os ingleses em 1303. O filho de Henrique, Henrique, 2º Conde de Orkney (c. 1375-1422) construiu uma nova torre de menagem rectangular, de forma arredondada, no canto sudoeste. O pátio foi entrado através de uma ponte levadiça sobre uma vala artificial, dando acesso a um pingente na pequena cordilheira norte.
O castelo continha um scriptorium durante o século XV, e cinco manuscritos de Santa Clara, datados de 1488, estão na Biblioteca Nacional da Escócia. Estes incluem o manuscrito de Rosslyn-Hay, que se acredita ser o mais antigo trabalho existente na prosa escocesa. O castelo foi danificado por um incêndio doméstico em 1452. A lenda diz que durante o incêndio doméstico o Conde estava em consternação por causa de seus valiosos manuscritos, mas eles foram abaixados para a segurança de uma janela por seu capelão.
Roslin foi mais severamente danificado pelo Conde de Hertford, que queimou o castelo durante a Guerra da Corte Bruta, em 1544. A torre de menagem foi quase totalmente destruída, embora ainda se possa ver a sua parede em ruínas.
O castelo foi reconstruído no final do século XVI. Uma nova cordilheira de cinco andares a leste foi construída na lateral da rocha, e a casa do portão foi reconstruída, desta vez com uma ponte de pedra permanente. Em 1591 o Laird of Roslin foi confiscado, e o castelo foi detido por William Leslie para o Conde de Huntly. O Conde rebelde de Bothwell ficou, e saiu à pressa deixando para trás os seus cofres com roupas e placa de prata.
A parte superior da cordilheira leste foi renovada em 1622, com detalhes renascentistas e esculpida em torno de portas e janelas. Roslin sofreu novamente com a artilharia do comandante de Cromwell na Escócia, General Monck, em 1650. No século XVIII a estrutura foi dilapidada, embora parte da cordilheira leste tenha sempre permanecido habitável.
James Erskine herdou as fazendas Rosslyn e Dysart em 1789, de seu primo James Paterson St Clair, sobre o qual adotou o sobrenome de St Clair-Erskine. Em 1805, ele herdou o título de Conde de Rosslyn (criado em 1801 para Alexander Wedderburn); desde essa data, a fazenda Rosslyn está na posse do Conde de Rosslyn.
De 1982 a 1988, a área leste foi restaurada pelos arquitetos Simpson e Brown. O atual proprietário, The Rt Hon. The 7th Earl of Rosslyn, um descendente dos Sinclairs, aluga o castelo como acomodação de férias através do Landmark Trust. O castelo é um Monumento Programado Antigo, e um edifício de Categoria A listado.