Zamek powstał na miejscu istniejącego tu grodu drewniano-ziemnego, podniesionego w 1108 r. do rangi kasztelanii przez Bolesława Krzywoustego. Kasztelania była wzmiankowana w bulii papieża Hadriana  w 1155 r. jako castrum Valan. Wzniesienie pierwszej murowanej budowli przypisuje się księciu Bolesławowi I Wysokiem. Na początku wieku XIII często na zamku przebywał książę Henryk I Brodaty wraz ze swoją małżonką Jadwigą (która została świętą i jest patronką Śląska). Książę rozbudował zamek o mieszkalną wieżę i licząca 9 metrów kaplicę. Wkrótce zastąpiono sześciokątną wieżę okrągłą, o średnicy 12 metrów i grubości murów do 3 metrów. Wieża dotrwała do naszych czasów i obecnie ma 12 metrów wysokości. 

W połowie XIII wieku zamek upodobał sobie znany z awanturniczego życia syn Henryka II Pobożnego (a wnuk Henryka I Brodatego i św. Jadwigi), Bolesław II Rogatka. Właśnie w zamkowej wieży więził on w 1256 r. wrocławskiego biskupa Tomasza I, a w 1277 swego bratanka, księcia wrocławskiego Henryka IV Probusa. W połowie XIV wieku za panowania księcia świdnicko-jaworskiego Bolka II Małego nastąpiła kolejna rozbudowa zamku, powstał wówczas tzw. zamek średni. Po jego śmierci wdowa po nim, księżna Agnieszka przekazała w 1368 r. zamek w zastaw lenny rycerzom von Zedlitz. W 1377 r. właścicielem zamku został Tymo von Kolditz, który dokonał rozbudowy i umocnienia warowni. W 1428 r. podczas powstania husyckiego zamek był przez powstańców bezskutecznie oblegany.

W następnych latach właściciele zmieniali się często i nie dbali o budowlę. Od 1465 r. jego właścicielem był rozbójnik Hans von Zedlitz, który nie oszczędzał nawet mieszkańców Wlenia. W latach 1567-1574 następny właściciel zamku Sebastian Zedlitz przeprowadził przebudowę zamku. Wzmocniono wówczas obronność warowni poprzez podwyższenie murów i wieży. Nowym właścicielem zamku już w 1581 r. został Sebastion von Schaffgosch, a w 1605 r. następny awanturnik z rodziny von Zedlitz, Konrad, gnębiący okoliczną ludność. Wymuszał on od ludności różnorodne daniny i usługi, a jeżeli nie chcieli oni spełnić jego życzeń, więził on w lochu burmistrza miasta.

W czasie wojny trzydziestoletniej zamek był kilkakrotnie oblegany i zdobywany przez wojska szwiedzkie i cesarskie. Wreszcie w 1646 r. został podpalony, przez co popadł całkowicie w ruinę. Po tej wojnie nowym właścicielem zamku został pułkownik króla Francji Ludwika XVIII Adam von Kaulhaus. Jednak nie podjął on odbudowy zniszczonego zamku, lecz zbudował na stokach góry na której stoi zamek nowy pałac, w którym zamieszkiwał. W wieku XVIII zamek kupił hrabia Grünfeld, a po jego śmierci w 1804 r. przeszedł na własność rodziny Haugowitz, w której rękach pozostawał do II woiny światowej.

W latach 1989-1994 prowadzono na zamku badania archologiczne (Katedra Archeologii Uniwersytetu we Wrocławiu). Założeniem tych badań było dalsze poznanie rozwoju przestrzennego zamku oraz identyfikacji wzmiankowanej w źródłach pisanych historii kasztelanii wleńskiej. Z dobrze zachowanej baszty, udostępnionej dla turystów, przy pięknej pogodzie można było podziwiać pasmo Karkonoszy a także panoramę Gór Kaczawskich i Pogórza Izerskiego.

Prawdopodobnie najstarszy zamek w Polsce. Niestety jeszcze w remoncie ale i tak uważam,że warto tu się wdrapać lub wjechać. Zobaczyć zespół pałacowy, powdychać zapach czosnku niedżwiedziego. Najbardziej odważni mogą zaryzykować wejście na wieże i nasycić się widokami.