Neskororenesančný kaštieľ vo Wysokej je dvojpodlažná budova so suterénom, postavená z lomového kameňa a tehál, omietnutá, v rohoch spevnená oporami, pokrytá vysokou valbovou strechou.
Postavený bol pravdepodobne koncom 16. storočia, keď obec vlastnila rodina Zebrzydowských, a pôvodne slúžil ako obranný kaštieľ. Rekonštrukcia, ktorá sa uskutočnila koncom 18. storočia, mu dala charakter šľachtickej rezidencie. Ďalšími majiteľmi kaštieľa boli rodiny: Sierakowských, Stadnických, Larisch, Borowských (Wężykowie) a Żeleńských. Po druhej svetovej vojne bola v kaštieli zriadená základná škola, ktorá fungovala až do roku 1966.
V okolí sa dodnes zachovali čitateľné zelené kompozície: záhrada, krajinný park a tzv. zoologická záhrada (les v rozšírení kaštieľskej záhrady). Spolu s kaštieľom tvoria komplex s jedinečnými historickými, architektonickými a krajinnými hodnotami. Vďaka úsiliu bývalého majiteľa kaštieľa bola na okraji kaštieľskeho parku postavená drevená chata z roku 1870. V budove pôvodne sídlila vidiecka škola.
