La costruzione sorse probabilmente in epoca normanna, come avamposto di controllo e di difesa. Nel 1504, come attesta un’iscrizione su una lastra calcarea nell’androne, era di proprietà del ricco banchiere Heronimo Centurione. Nel 1609 il palazzo venne acquistato da Michele Vaaz, fondatore del paese, e rimase di proprietà della famiglia fino al 1667, quando il feudo fu venduto al Regio Consigliere Antonio De Ponte. Questi trovò l’edificio quasi cadente, e avviò i lavori di restauro, come testimonia l’incisione sul portale d’ingresso. In seguito ai restauri l’aspetto del castello mutò, passando da quello di una piccola fortificazione medievale a quello di una vera e propria residenza signorile seicentesca.

All’interno il Castello è costituito da nove ambienti, tra il piano terra e il primo piano, coperti con volta a crociera in conci di pietra, tranne quello centrale a piano terra, con volta a botte, e la corrispondente sala al piano superiore, a tutta altezza.

Nel 1779 l’edificio passò alla famiglia Caracciolo di Vietri e nel 1860 fu sottoposto a ulteriori lavori, che ne ridisegnarono il prospetto in stile goticizzante, sul modello di un castello tardomedievale.

La famiglia restò in possesso del castello fino alla prima metà del ‘900, per poi cederlo al Comune di Sammichele di Bari.