La vila de Castellbò es troba en un congost, a 802 m d’altitud, entre el serrat de la Borda i els estreps de Roca Redona.

Castellbó es troba en un replà de la muntanya on hi ha les ruïnes de l’antic castell de Castellbò, que va ser enderrocat per ordre de Ferran el Catòlic el 1513, encara que la capella de Sant Pere i Sant Francesc del castell es va enderrocar segles més tard.

Entre els edificis d’interès, hi destaca la col·legiata de Santa Maria de Castellbò, la Mare de Déu del Remei de Castellbò, la Creu de Pal de Castellbò, els colomars, el castell i el pont.