Tras la caída de Roma y las invasiones germánicas a lo largo del siglo V d. C., la población de origen hispanorromano huye de las ciudades y de las villas y se refugia en zonas altas de fácil defensa natural.

Tras el abandono del poblado de Los Castillejos (siglo I a. C.), el período romano en Montefrío se caracteriza por un poblamiento rural disperso.

Las buenas condiciones defensivas y de visibilidad existentes en el poblado prehistórico de Los Castillejos, ubicado en las Peñas de los Gitanos, provocaron su ocupación posterior en época ibérica (siglos IV-I a. C.).

Con el nombre de megalitismo (4.000-1.800 a. C.) se designa la realización de construcciones con grandes bloques de piedra y finalidad funeraria, ritual y de culto a los antepasados.

El poblado prehistórico de Los Castillejos se ubica en el paraje de las Peñas de los Gitanos. Se estableció sobre una terraza o meseta que ofrece una defensa casi inexpugnable entre varios farallones o tajos.

Las Peñas de los Gitanos es un paraje arqueológico de gran belleza natural entre varios farallones o tajos y en el que se ubican diversas cuevas naturales, poblados al aire libre y necrópolis o cementerios.