Casterlystein liegt an der Westküste von Westeros und ist auf eine natürliche Steinformation am Ufer des Meeres gebaut.
Die Festung ist annähernd rund und ihre Mauern, sowie die Bauwerke sind aus weißem, glatten Stein erbaut mit dunklen Dächern.
Im Felsen unter Casterlystein finden sich reiche Goldminen, weswegen ein Großteil der Stadt untertunnelt ist um das Edelmetall abzubauen.
Viele Ornamente und Malerei schmücken die somit sehr wohlhabende Stadt. Wasserspeier, Brunnen und Figuren sind vergoldet.
Durch die abgeschottete Lage auf den steilen Felsenklippen gilt Casterlystein als uneinnehmbar und wird von seiner Größe ausschließlich von Harrenhal geschlagen.
Die Bevölkerung dort ist reich und die Menschen leben vom Handwerk: Schmuck, Goldschmiede, Waffen, Baukunst all diese Berufe haben hier ihre Hochburg.
Umgeben ist die Festung von einer grasbewachsenen Hochebene mit wenigen Schafhirten, die dem scharfen Wind trotzen.