Nachdem 1490 ein Gebhard Peuscher die Herrschaft gekauft hatte, dürfte um 1492 sein Nachfolger das aus einem Meierhof der Burg hervorgegangene, an der Strasse gelegene Schloss Leonstain erbaut haben.

Das romantisch anmutende Schloss Leonstain, nun zum Mittelpunkt einer ansehnlichen Herrschaft geworden, hatte nach den Peuschers zahlreiche andere Besitzer und veränderte mehrmals sein Aussehen. Sein Schicksal war äußerst wechselhaft: Ab 1645 befanden sich Schloss und Herrschaft Leonstain im Eigentum des Jesuitenordens, der dort eine Steinbierbrauerei betrieb. Mit der Aufhebung des Ordens durch Kaiser Joseph II. gelangte die Herrschaft in staatliche Verwaltung. Im Jahre 1817 kam das Gebäude schließlich an das Benediktinerstift St. Paul im Lavanttal. Ein Brand zerstörte 1825 Schloss und Nebengebäude, der Wiederaufbau bescherte der Anlage ihre heutige Form. Im Jahre 1910 erwarb Dr. Carl August Neuscheller, Ritter des Franz Josef Orden und Kaiserlich-Königlicher Finanz-Prokurator von Triest und den Küstenlande, von den Benediktinern das Schloss.

In vierter Generation befindet sich Schloss Leonstain weiterhin im Besitz der Familie Neuscheller, die es in stilvoller Weise renoviert und baulich erweitert hat. Der historische Charakter des Gebäudes, dessen Kern noch aus dem 16. Jahrhundert stammt, blieb trotz der Umbauten bestens erhalten. Heute zählt das 1954 in einen gehobenen Gästebetrieb umgewandelte Schloss zu den Spitzenreitern der Wörthersee-Hotellerie. Im äußeren Hof erinnert eine 1907 von Berta Kupelwieser geb. Wittgenstein, aus Carrara-Marmor geschaffene Büste des berühmten Komponisten Johannes Brahms (1833-1897) an dessen wiederholten Aufenthalte in Pörtschach.