Le château de Trilbardou a vraisemblablement été construit vers le milieu du l0ème siècle pour résister aux invasions des Normands.
Il ne fut plus occupé qu’occasionnellement par le seigneur pendant les 16, 17 et 18èmes siècles tombant progressivement en ruines. En 1784, l’intendant de police Lenoir en racheta les ruines, alors appelées Maison des Olivettes, citées « vieux château de fort peu de valeur, en très mauvais état », qu’il rasa, ne conservant que les caves. Il chargea l’architecte Brogniart de redessiner un château, style Louis XVI.
Ce château de trois étages fut à l’époque fort remarqué par l’élégance de son architecture. Une des particularités du château était de présenter des façades blanches sur ses deux côtés exposés au soleil, alors que les deux autres côtés étaient construits en pierre rouge.
A la même époque, Lenoir, afin de supprimer la rue qui passait entre son château et la Marne fit une proposition aux habitants : améliorer la rue descendant du presbytère à la Marne (actuelle rue Debeaupuis), construire le quai, ainsi qu’un puits en face de l’église, contre l’abandon du droit de passage devant son château, lui permettant alors de réunir en un seul domaine la ferme du Sieur Bocquet (située à l’emplacement des communs actuels) et le parc de son château. La révolution passa sans encombre sur le château, et les successeurs de Lenoir, Dupont puis Lenfumé de Lignières n’y apportèrent pas de changement notable. Au début du 19ème siècle, la construction du canal de l’Ourcq coupa le parc en deux, mais le dota d’un pont en pierre qui est, de nos jours, un des plus beaux sur le canal.
En 1883, la famille Koller acheta le château. L’architecte Lagrave fut chargé de le mettre au goût des nouveaux propriétaires qui le désiraient en style Louis XIII. Il fut remanié avec goût, et meublé avec richesse. La famille Koller occupa le château jusqu’en 1954, agrandissant le parc d’acquisitions successives.
Le château est depuis 1956 la propriété de la municipalité de La Courneuve, qui y a créé un centre de vacances.
