W 1870 roku Włodowice stały się własnością Michała Poleskiego. Człowieka, który otrzymał wysokie wykształcenie przyrodnicze i agronomiczne m.in. w Sorbonie w Term, Imperial pod Paryżem i Hajdelbergu. Będąc tam wygrał nawet konkurs urządzony przez rząd francuski za wymyślenie sposóbu zwalczania szkodnika plantacji, dzięki czemu zyskał takie uznanie, że zaproponowano mu nawet posadę na wyspie St. Moris z roczną pensją (bagatela) 10 000 franków. Wrócił jednak do Polski i osiadł we Włodowicach, które wkrótce rozsławił tak, że zyskały nazwę „Aten Olkuskich”. Poleski bowiem urządził w pałacu bibliotekę liczącą 10 000 tomów i archiwów zawierających stare i cenne dokumenty po dawnych dziedzicach Włodowic: Bonerach, Firlejach, Warszyckich, Micińskich oraz zbiór pamiątek rodzinnych, które potem złożył w krakowskim Muzeum Narodowym. Założył też prywatną wyższą szkołę ogrodniczą zawierającą kolekcję minerałów i okazów flory a przy niej laboratorium chemiczne i fizyczne, które zaopatrzył we wszystkie możliwe do uzyskania przyrządy. W związku z tym do pałacu przybywali profesorowie z różnych krajów a także studenci. Włodowice stały się jednym z ważniejszych ośrodków wiedzy i kultury.

Niestety, czasy świetności tego miejsca przeminęły. W 1931 roku i 1956 roku pałac zniszczyły pożary. W latach sześćdziesiątych XX wieku zainteresowali się nim konserwatorzy zabytków, dzięki czemu został wpisany do Polskiego Katalogu Zabytków Sztuki. W 1989 roku decyzją podsekretarza stanu w Ministerstwie Kultury i sztuki obiekt skreślono z rejestru. Decyzję tłumaczono złym stanem budowli oraz tym, że nawet po remoncie nie miałby żadnych wartości zabytkowych. Szkoda, że tak często zapominamy o tym, że to właśnie takie miejsca są częścią naszego dziedzictwa kulturowego. Odpowiednio zadbane stanowić mogą nie tylko ciekawostkę historyczną i atrakcję turystyczną, ale też stać się wizytówką regionu. Brak pieniędzy oraz zawiłe procedury utrudniają adaptację takich obiektów skazując je na powolne, całkowite zniszczenie i zapomnienie.