Na výšině nad městem směrem k Orlickým horám postavili naši předkové kostel, zasvěcený svatému Duchu. Již samotné toto zasvěcení napovídá, že počátky kostela musíme hledat hluboko ve středověku, snad až v dobách, kdy byl náš kraj postupně osídlován a vznikaly zde první středověké osady. Vznik kostela svatého Ducha tedy zřejmě souvisí se samotnými počátky křesťanství v našem regionu.