U této osady stával středověký hrad, o němž však nemáme žádných písemných zpráv. Jedna z domněnek jej označuje za možné sídlo pánů z Dobrušky. První písemná zpráva pochází z 12. prosince 1540. Zde se však píše již jen o louce pod pustým hradem, což znamená, že v této době již hrad nebyl obydlen. V 19. století byl na místě bývalého hradu otevřen kamenolom a podstatná část hradních zbytků byla zničena. Až teprve 29. října 1934 zakázala dobrušská městská rada další těžbu, aby se zachránily poslední zbytky hradu, tj. část příkopu, základy věže a několik bývalých budov předhradí. Průzkum cháborského hradu provedl 12. prosince 1933 ředitel Státního ústavu archeologického Karel Buchtela. 1. května 1982 byl v bývalém lomu pod zbytky zřícenin otevřen areál zdraví.
Samotná osada Chábory je prvně připomínána roku 1610. V roce 1647 nechala Kateřina z Vlkanova, vdova po Jiřím Vostrovském ze Skalky, vybudovat v Cháborách na Zlatém potoce splav, odvádějící část vody náhonem do Podchlumí a Opočna V sušších letech se pak stávalo, že byl Zlatý potok v Mělčanech téměř bez vody.
Za základě povolení pražského gubernia z 27. prosince 1828 byla osada Chábory rozšířena o novou výstavbu. Dne 2. srpna 1875 byla vysvěcena cháborská kaple Nejsvětější Trojice, zbudovaná nákladem Josefa a Barbory Švorcových. 14. dubna 1919 byl do kaple pořízen zvon.
V roce 1882 byl přes Zlatý potok postaven kamenný most, stržený velikou povodní v roce 1998. Na mostě stála od 1. července 1888 socha sv. Jana Nepomuckého.
V roce 1877 byl založen cháborský hasičský sbor a roku 1880 postavena hasičská zbrojnice, do níž v roce 1901 zakoupili novou stříkačku. Dne 3. září 1884 téměř celá cháborská osada vyhořela. Z celkového počtu 22 dřevěných domků zničil požár 15 obydlí.
Poblíž Chábor, v lese Drnově, postavilo myslivecké sdružení umělou noru U Kajetána. Slavnostní zahájení norování na lišku a jezevce proběhlo 26. července 1959.
Chábory mají také své významné rodáky. V čp. 25 se 14. listopadu 1847 narodil spisovatel, básník a novinář Josef Kuchař. Vystudoval gymnázium (postupně v Rychnově n. Kn., Litomyšli a v Hradci Králové) a stal se úředníkem banky Slavia. Svoje verše uveřejňoval zejména časopisecky v listech "Zlatá Praha", "Zvon", "Nový ruch", "Světozor", "Český svět", "Osvěta" aj. Knižně vydal sbírky "Za soumraku", "Chýžka", "Ze zašlých i nových dob", "Cestou životem". Publikoval i drobnou prózu. Jeho tvorba byla zaměřena především lyricky a svým obsahem akcentovala lásku k vlasti. Zemřel v Praze 26. května 1926.
2. srpna 1879 se zde narodil Josef Štolovský, malíř a průmyslový podnikatel. Malířství studoval v letech 1899 - 1904 na krajinářské škole pražské Akademie, potom od roku 1905 v Mnichově. Byl žákem Mařákovy moderní krajinářské školy. Jeho nadějnou tvorbu přerušilo období od roku 1910, kdy založil v Praze výrobu barev, které pod značkou ŠTOLO vstoupily do povědomí generace malířů. Po zkonsolidování podniku se od roku 1925 opět vrací k tvůrčí práci, která ho přivedla do rodných Orlických hor, ale i do velkých průmyslových závodů, jejich atmosféru realisticky zachytil na mnohých svých obrazech. Významná byla i Štolovského organizační práce, především ve funkci předsedy Jednoty výtvarných umělců. Zemřel v Praze 10. února 1936.
Třetím významným cháborským rodákem je grafik Josef Poláček. Narodil se v čp. 2 dne 27. března 1925. Jeho výtvarný talent se projevil již v mládí. První samostatnou výstavu karikatur (především českých herců) uskutečnil v roce 1944, ve svých devatenácti letech. V roce 1945 začíná studovat na státní grafické škole v Praze. Odchází do České Lípy, kde se v roce 1949 stává ředitelem okresního osvětového domu. Od roku 1959 až do svého odchodu na odpočinek pracuje jako vedoucí kulturního zařízení ve Varnsdorfu, redaktor časopisu a textilní výtvarník. Svoji uměleckou tvorbu věnuje zejména grafice a karikatuře. Uspořádal více než čtyři desítky samostatných výstav a zúčastnil se na stovce výstav společných doma i v zahraničí. Jeho grafiky a kreslené vtipy vyšly ve více než 150 časopisech a novinách. Vysokou výtvarnou úroveň mají jeho ex libris.
Publicita