El Palau Ducal dels Borja està ubicat en la part alta de Castelló de Rugat, a la Plaça Palau. Va ser la família Bellvis qui el va construir als segles XIV i XV. Posteriorment, va passar a la família Borja, qui el va ampliar i millorar. Aquesta família es va utilitzar com a residència d’estiu. Van ser quatre les generacions del Borja que van gaudir d’aquest palau. Finalment, la propietat va passar als Frasquet, una família de terratinents locals, que van ser els últims propietaris de l’immoble.
Actualment, sols es manté visible una part de la façana, així com traces de la barbacana defensiva i de l’hort que envoltava el palau.
En l’actualitat s’està portant a terme un projecte ambiciós per a rehabilitar i obrir l’espai.