L'edificio, di forma imponente ma elegante, che già di per sè rivela un'importanza storica, campeggia in un luogo che, inaspettatamente, rivela una storia ininterrotta di presenze umane.

Proprio di fronte al sito delle Caselle si trova infatti una necropoli, il cui insediamento urbano, un pagus etrusco, risale probabilmente al VII secolo a.C. Ci troviamo quindi di fronte ad un sito che, per la sua posizione e la naturale inclinazione del terreno, ha sempre rappresentato un luogo privilegiato.
La proprietà, inoltre, conserva ben tre ponti antichi: il primo Ponte delle Caselle, sito proprio all'interno della proprietà, era un antico ponte romano rifatto proprio dai domenicani nel Seicento; il secondo, Ponte vallerano, detto anche Ponte delle Streghe, è andato distrutto nei secoli; il terzo, Ponte Funicchio, è più monumentale, ancora esistente, forse in origine era un acquedotto.
Sappiamo che sin dal 1469 furono i Domenicani i frati predicatori scelti per occuparsi del Santuario della Quercia che proprio allora stava nascendo: il 29 settembre Papa Paolo II emana una bolla (Fidelitatis Constantia), in cui si confermano tutti i diritti dei Domenicani sul santuario.
Dal Cabreo (catasto domenicano) del 1657 (vol. 128), redatto dal notaio Blasio Barsi e illustrato da Giovan Battista Schiratti, leggiamo che nel 1565 un tale Petrucci, contro la volontà del padre volle lasciare tutto ai Domenicani, vendette ad un Bonelli una porzione del podere Le Caselle.
Un'immagine del podere disegnata all'epoca dallo Schiratti, testimonia l'esistenza del casale.
Da un'illustrazione del Cabreo del 1749 (redatto e illustrato da Nicola del Carretto), risulta un seconda fase costruttiva, costituita da un'aggiunta laterale alla costruzione preesistente.
E' interessante far notare come la strada di ingresso al podere delle Caselle che termina davanti la facciata del casale sia orientata verso il Santuario di Santa Maria de La Quercia.