Im Rentenverzeichnis des Stifts Kaiserswerth aus dem 11. Jahrhundert kann Heltorf als Hof Helethorpe erstmalig nachgewiesen werden. Ab 1662 gelangte Heltorf in den Besitz der Grafen von Spee, zu deren Eigentum das Schloss bis heute gehört.
Im Jahr 1696 wurde die dreiflügelige Vorburg aus Backstein errichtet. Jeweils an der westlichen und östlichen Ecke schließen sich reckteckige Türme an, die den mittig gelegenen Torturm flankieren. Das später in den Jahren 1822 bis 1827 nach Plänen von Heinrich Theodor Freyse erbaute Herrenhaus ist ein klassizistischer Putzbau mit einem leicht vorragenden und übergiebelten Mittelrisalit, der sich über drei Geschosse erstreckt.
Im sogenannten Gartensaal finden sich Wandmalereien der Künstler Karl Stürmer, Heinrich Mücke, Carl Friedrich Lessing und Hermann Freihold Plüddemann, die zwischen 1826 und 1841 einen Barbarossa-Zyklus schufen, in dem die Szenen theaterähnlich arrangiert sind. In Georg Dehios Handbuch der Deutschen Kunstdenkmäler werden die Malereien als „Höhepunkt der der spätromantischen Historienmalerei der Düsseldorfer Malerschule“ bezeichnet. Direkt neben dem Herrenhaus befindet sich die im neuromanischen Stil erbaute Schlosskapelle, die nach Entwürfen von Rudolph Wiegmann im Jahr 1854 errichtet wurde. Auf der gegenüberliegenden Seite fügt sich die neugotische Bibliothek an den Baukomplex, die unter dem Kölner Dombaumeister Vincenz Statz 1862 entstanden ist.