La villa de Castellbò se encuentra en un desfiladero, a 802 m de altitud, entre el serrado de la Borda y los estribos de Roca Redona.

Castellbó se encuentra en un replano del monte donde están las ruinas del antiguo castillo de Castellbò, que fue derruido por orden de Fernando el Católico en 1513, aunque la capilla de San Pedro y San Francisco del castillo se derrocó siglos más tarde.

Entre los edificios de interés, destaca la colegiata de Santa Maria de Castellbò, la Virgen del Remedio de Castellbò, la Cruz de Palo de Castellbò, los palomares, el castillo y el puente.