El Palacio de Riofrío sirvió como pabellón de caza en los siglos XVIII y XIX y solo fue habitado por el personal real durante cortos periodos de tiempo en la segunda mitad del siglo XIX.