Zoals de meeste Khmer-tempels is Vat Phou naar het oosten gericht, hoewel de as acht graden ten zuiden van het oosten ligt, voornamelijk bepaald door de oriëntatie van de berg en de rivier. Inclusief de barays (reservoirs) strekt het zich 1,4 kilometer oostwaarts uit vanaf de bron, aan de voet van een klif 100 meter de heuvel op. 6 kilometer ten oosten van de tempel, op de westelijke oever van de Mekong, lag de stad, terwijl een weg vanaf de tempel zelf naar het zuiden leidde naar andere tempels en uiteindelijk naar de stad Angkor.
Opgestegen vanuit de stad (waarvan weinig is overgebleven), is het eerste deel van de tempel dat bereikt wordt een serie barays. Slechts één ervan bevat nog water, de middelste kade van 600 bij 200 m die direct langs de tempelas ligt; er waren reservoirs ten noorden en ten zuiden hiervan, en nog een paar aan weerszijden van de verbindingsweg tussen de middelste kade en de paleizen.
De twee paleizen staan op een terras aan weerszijden van de as. Ze staan bekend als het noordelijke en zuidelijke paleis of, zonder enig bewijs, als het mannen- en vrouwenpaleis (de term “paleis” is slechts een conventie en hun doel is onbekend). Elk bestond uit een rechthoekige binnenplaats met een gang en ingang aan de kant naar de as, en schijndeuren aan de oost- en westeinden. De binnenplaatsen van beide gebouwen hebben lateriet muren. De muren van de gang van het noordelijke paleis zijn van lateriet, terwijl die van het zuidelijke paleis van zandsteen zijn. Het noordelijke gebouw verkeert thans in betere staat. De paleizen vallen vooral op door hun frontons en lateien, die in de vroege Angkor Wat stijl zijn.
Op het volgende terras staat een kleine schrijn aan Nandi (Shiva’s berg) in het zuiden, in slechte staat. De verbindingsweg tussen Vat Phou en Angkor liep vanaf deze tempel naar het zuiden. Verder naar het westen leiden opeenvolgende trappen naar verdere terrassen; tussen deze terrassen staat een dvarapala die vereerd wordt als koning Kammatha, de mythische bouwer van de tempel. Op het smalle volgende terras staan de overblijfselen van zes kleine heiligdommen die door schatgravers zijn vernield.
Het pad culmineert in zeven zandstenen trappen die naar het bovenste terras en het centrale heiligdom leiden. Het heiligdom bestaat uit twee delen. Het voorste gedeelte, van zandsteen, wordt nu ingenomen door vier Boeddhabeelden, terwijl het bakstenen achterste gedeelte, waar vroeger de centrale lingam stond, leeg is.
Het hele dak ontbreekt, hoewel aan de voorkant een provisorische bedekking is aangebracht. Water uit de bron die uit de klif ontspringt, ongeveer 60 m ten zuidwesten van het heiligdom, werd via stenen aquaducten naar de achterste kamer geleid, waar de lingam voortdurend werd gebaad. Het heiligdom is later dan het noordelijke en zuidelijke paleis en behoort tot de Baphuon periode van de latere 11de eeuw. De oostzijde heeft drie deuropeningen: van zuid naar noord tonen de frontons Krishna die de nāga Kaliya verslaat; Indra die Airavata berijdt; en Vishnu die Garuda berijdt. Op de oostelijke muur staan dvarapalas en devatas afgebeeld. Ingangen in het zuiden en noorden hebben binnen- en buitendorpels, waaronder een in het zuiden van Krishna die Kamsa verscheurt.
Andere kenmerken van het gebied zijn een bibliotheek, in slechte staat, ten zuiden van het heiligdom, en een reliëf van de Trimurti in het noordwesten. Verder naar het noorden zijn er nog andere beeldhouwwerken: een voetafdruk van Boeddha op de rotswand en rotsblokken in de vorm van olifanten en een krokodil. De krokodilsteen heeft enige bekendheid verworven als de mogelijke plaats van een jaarlijks mensenoffer dat in een Chinese tekst uit de zesde eeuw wordt beschreven. De identificatie wordt aannemelijk gemaakt door de gelijkenis van de afmetingen van de krokodil met die van een mens.