Zamek w Międzylesiu składa się z trzech skrzydeł: średniowieczno-renesansowego zamku oraz dwóch skrzydeł pałacowych utrzymanych w stylu barokowym.
Pierwotny zamek wzniesiono tu na miejscu wcześniejszego grodu w 1370, który został zniszczony w czasie wojen husyckich.
W latach 1580–1590 rodzina Tschirnhausów na miejscu zamku wzniosła renesansowy dwór, być może przez wykorzystanie fragmentów średniowiecznych, a na pewno przez dołączenie częściowo zachowanej wieży pierwotnego zamku.
W XIX wieku obiekt odrestaurowano, po 1945 roku był praktycznie nieuszkodzony. W następnych latach był użytkowany przez kilka instytucji jako ośrodek wczasowy i kolonijny.
Obecnie na terenie zamku działa hotel i restauracja.