Det första slottet byggdes antingen i slutet av 1300-talet eller i början av 1400-talet, kanske påbörjat av Henry Sinclair, Earl of Orkney, Baron of Roslin (ca. Familjen Sinclair, eller St Clare, var av franskt ursprung och har haft Roslin sedan 1280. Slottet byggdes på en klippig udde nära platsen för slaget vid Roslin, där skottarna besegrade engelsmännen 1303. Henrys son Henry, 2nd Earl of Orkney (ca 1375-1422) byggde ett nytt rektangulärt torn med runda hörn i det sydvästra hörnet. man kom in på gården via en dragbro över ett konstgjort dike, som gav tillgång till en pend i den lilla norra hallen.
Slottet innehöll ett skriptorium under 1400-talet, och fem St Clair-manuskripten, som är daterade till 1488, finns i Skottlands nationalbibliotek. Dessa inkluderar Rosslyn-Hay-manuskriptet, som tros vara det tidigaste bevarade verket på skotsk prosa. Slottet skadades av en husbrand 1452. Legenden säger att under hushållsbranden var jarlen i bestörtning på grund av sina värdefulla manuskript, men de sänktes i säkerhet från ett fönster av hans kaplan.
Roslin skadades allvarligare av jarlen av Hertford, som brände slottet under kriget i Rough Wooing år 1544. Fästningen förstördes nästan helt, även om dess enda kvarvarande murruin fortfarande kan ses.
Slottet återuppbyggdes i slutet av 1500-talet. En ny femvånings östlig kedja byggdes in i sidan av berget, och porthuset byggdes om, den här gången med en permanent stenbro. År 1591 förlorades Laird of Roslin och slottet innehades av William Leslie för Earl of Huntly. Den rebelliske jarlen av Bothwell stannade kvar, men lämnade det i all hast och lämnade sina kistor med kläder och silverplattor bakom sig.
Den övre delen av den östra delen av byggnaden renoverades 1622, med renässansdetaljer och sniderier på dörr- och fönsteromfattningar. Roslin drabbades återigen av artilleriet från Cromwells befälhavare i Skottland, general Monck, år 1650. Den skadades ytterligare av en reformistisk mobb 1688. På 1700-talet var byggnaden förfallen, även om en del av den östra delen alltid har varit beboelig.
James Erskine ärvde egendomarna Rosslyn och Dysart 1789 från sin kusin James Paterson St Clair, varpå han antog efternamnet St Clair-Erskine. År 1805 ärvde han titeln Earl of Rosslyn (skapad 1801 för Alexander Wedderburn); sedan dess har grevskapet Rosslyn tillhört Earl of Rosslyn.
Från 1982 till 1988 restaurerades den östra delen av slottet av arkitekterna Simpson and Brown.
Den nuvarande ägaren, The Rt Hon. The 7th Earl of Rosslyn, som är ättling till familjen Sinclairs, hyr ut slottet som semesterbostad via Landmark Trust. Slottet är ett fornminnesmärke och en kategori A-listad byggnad.