Die Vorgängeranlage, Castrum Elnere, wurde 1309 zum ersten Mal erwähnt. Die Besitzer waren die Ritter von Elnere. Dabei handelte es sich um eine Burganlage. 1424 wurde die Burg, obwohl jetzt stark befestig, durch Herzog Adolf von Jülich-Berg erobert und anschließen gegen ablegen des Lehnseid wieder zurückgegeben. 1448 verkauften die Herren von Eller die Anlage an den Ritter Adolf von Quade, der daraufhin die Burganlage zur Wasserburg ausbauen ließ. Nach dem Wiener Kongress wurde die Burg/Schloss 1815 Preußen zugesprochen, dass die halb verfallene Anlage 1823 dem königlich preußischen Kammerherrn Freiherr von Plessen veräußerte. Der ließ das Schloß in dem heute noch sichtbaren klassizistischen Stil wieder herrichten. 2008 wurde das Schloss von der Stadt Düsseldorf in Erbpacht an die IDR abgegeben, die das Schoss unter dem Gesichtspunkt der Denkmalpflege restauriert hat. Seit 2010 ist das Schloss wieder geöffnet und kann für Bälle, Tagungen und Seminare angemietet werden. Die Burg und das Schloss waren die Keimzelle der Ortschaft Eller, die bis 1909 eigenständig war und nun dem Stadtgebiet Düsseldorf einverleibt ist.