Poprvé se připomíná v zakládací listině borotínské fary z roku 1386. Později se stala majetkem místního vladyckého rodu Přibíků ze Lhoty, podle něhož se pro osadu užívalo i jména Přibíkova Lhota. Kolem roku 1530 získali vesnici Malovcové, kteří ji na čas připojili ke svému borotínskému panství.

Od počátku 17. století pak Kamenná Lhota tvořila samostatné panství, které neobvykle často střídalo majitele. Koncem 18. století zde byl vystaven rokokový zámeček. K panství příslušely dva dvory v Kamenné Lhotě, dva dvory ve Smrkově, rybník Přibík a polesí.

Dlouholetou tradici měl zdejší pivovar, v němž se pivo vařilo ještě kolem roku 1880 (vyhořel 1912). Na počátku našeho století pobýval v zámečku několikrát hudební skladatel Oskar Nedbal, který zde komponoval svou proslulou operetu Polská krev.

Ve třicátých letech byl v zámečku zřízen penzion (v zimě roku 1940 v něm pobývali čeští spisovatelé Vladislav Vančura a Karel Nový).