Při pohledu na mapu Chlum naprosto splývá s Křemží. Ve skutečnosti Křemže leží na vysoké terase nad potokem a Chlum dole u potoka. Z náměstí ve Křemži tam vede strmá silnice. Zástavba vsi Jako jinde na Křemežsku se zde nenacházejí výstavné statky, ale je zde mnoho zajímavých staveb. Bývala zde i tvrz, později změněná na velký hospodářský dvůr (prozatím není foto). Ve vsi se často vyskytují domy s polovalbou, která je na Křemežsku velmi častá.
Dnes nad Chlumem směrem ke Kleti vzniká nové satelitní sídliště.