Het eerste kasteel werd gebouwd aan het eind van de 14e of in het begin van de 15e eeuw, misschien begonnen door Henry Sinclair, graaf van Orkney, baron van Roslin (ca. 1345-1400). De familie Sinclair, of St Clare, was van Franse oorsprong en bezat Roslin sinds 1280. Het kasteel werd gebouwd op een rotsachtig voorgebergte nabij de plaats van de Slag bij Roslin, waar de Schotten in 1303 de Engelsen versloegen. Hendriks zoon Henry, 2e graaf van Orkney (ca. 1375-1422) bouwde een nieuwe rechthoekige donjon met ronde hoeken in de zuidwestelijke hoek. De binnenplaats werd betreden via een ophaalbrug over een kunstmatige gracht, die toegang gaf tot een pend in de kleine noordelijke boog.
Het kasteel bevatte in de 15e eeuw een scriptorium, en vijf manuscripten van St Clair, daterend uit 1488, bevinden zich in de Nationale Bibliotheek van Schotland. Hiertoe behoort het Rosslyn-Hay manuscript, waarvan wordt aangenomen dat het het vroegst overgebleven werk in Schots proza is. Het kasteel werd in 1452 door een huisbrand beschadigd. Volgens de legende was de graaf tijdens de huisbrand in consternatie vanwege zijn waardevolle manuscripten, maar deze werden door zijn kapelaan uit een raam in veiligheid gebracht.
Roslin werd zwaarder beschadigd door de graaf van Hertford, die het kasteel in brand stak tijdens de Oorlog van de Ruwe Wijven in 1544. De donjon werd bijna volledig verwoest, hoewel de enige overgebleven ruïnemuur nog te zien is.
Het kasteel werd aan het eind van de 16e eeuw herbouwd. Een nieuw oostelijk deel van vijf verdiepingen werd in de zijkant van de rots gebouwd en het poortgebouw werd herbouwd, ditmaal met een permanente stenen brug. In 1591 werd de Laird of Roslin verbeurd verklaard en werd het kasteel in bezit genomen door William Leslie voor de Earl of Huntly. De rebelse Earl of Bothwell bleef, en vertrok in allerijl met achterlating van zijn schatkist met kleding en zilverplateau.
Het bovenste deel van de oostelijke reeks werd in 1622 gerenoveerd, met renaissance details en houtsnijwerk aan deur- en vensteromlijstingen. Roslin had in 1650 opnieuw te lijden van de artillerie van Cromwells bevelhebber in Schotland, generaal Monck. In de 18de eeuw was het bouwwerk vervallen, hoewel een deel van het oostelijke gedeelte altijd bewoonbaar is gebleven.
James Erskine erfde de landgoederen Rosslyn en Dysart in 1789 van zijn neef James Paterson St Clair, waarop hij de achternaam St Clair-Erskine aannam. In 1805 erfde hij de titel van graaf van Rosslyn (in 1801 gecreëerd voor Alexander Wedderburn); sindsdien is het landgoed Rosslyn in bezit van de graaf van Rosslyn.
Van 1982 tot 1988 werd het oostelijke deel gerestaureerd door de architecten Simpson en Brown.De huidige eigenaar, The Rt Hon. The 7th Earl of Rosslyn, een afstammeling van de Sinclairs, verhuurt het kasteel als vakantieverblijf via de Landmark Trust. Het kasteel is een beschermd monument en staat op de monumentenlijst van categorie A.