977 wurde das Schloss als Salzburger Besitz erstmals urkundlich erwähnt. 1268 erfolgte die erste Nennung des Alachthofes, des Vorgängers des heutigen Schlosses.
Das Schloss wie wir es kennen wurde 1505 - 1527 von Ritter Sebastian Grabner als RENAISSANCE-SCHLOSS erbaut. Sie waren seit 1487 im Besitz der Rosenburg im Kamptal, nach deren Vorbild sie auch Schloss Pottenbrunn verschönern ließen. Ein gleichnamiger Enkel des Ritters von Zagging ließ 1594 die alte Pottenbrunner Wasserburg zum Renaissanceschloss mit den charakteristischen umlaufenden Galerien unter dem abgewalmten Doppelsatteldach erweitern. Auch der romanische Bergfried wurde mit einer Galerie versehen.