En 1387, Guichard de Villeneuve reçoit ce fief des comtes de Provence. La famille de Villeneuve fait alors construire l'actuel château en 1430 en aménageant la tour datant du XIIe siècle. D'une surface de 400 mètres carrés au sol, il est constitué de trois étages. Les Villeneuve, devenus marquis, conserveront ce fief jusqu'en 1789. La population s'en empare ensuite et en fait l'hôtel de ville, fonction qu'il occupe encore aujourd'hui. Le dernier marquis s'enfuit mais est assassiné à Vintimille.
Abandonné au XVIIIe siècle, vendu comme bien national puis pillé, dégradé et en partie ruiné, il reste au château peu de choses de son ancienne splendeur sauf l'escalier Louis XIII à balustres (restauré à la fin du XXe siècle) et la tour-beffroi construite au XIIe siècle..

Le deuxième étage abrite trois belles salles d'exposition d'art contemporain en partenariat avec le Fonds régional d'art contemporain.