Zamek na wzgórzu Grojec górującym nad Żywcem niestety, już nie istnieje. Pozostało po nim kilka wzmianek historycznych i efekt badań archeologicznych prowadzonych w ubiegłym stuleciu.

Efekty tych wykopalisk z 1937 roku wraz z odkrytymi śladami osadnictwa z okresu Lateńskiego zaginęły w trakcie II Wojny Światowej.

Ów Zamek górował nad miastem we wczesnym średniowieczu. Badania archeologiczne prowadzone w latach 1937 i 1983, skonfrontowane przez badaczy ze źródłami pisanymi, pozwoliły częściowo odtworzyć historię zamku.

Początkowo na Górze o wysokości 612m.n.p.m znajdowała się wczesnośredniowieczna warownia. Znajdowała się w miejscu obecnej wieży telewizyjnej na samym szczycie, wzniesionej po II wojnie światowej.

W XV wieku na stoku wzgórza wzniesiono Zamek Borzywoja i Włodka Skrzyńskich herbu Łabędź. Znanych w okolicach Żywca zbójników i rabusiów, którzy byli jednocześnie lennikami Księcia Oświęcimskiego.

Kolejno zamek przeszedł w ręce Komorowskich herbu Korczak. Komorowscy sprzyjali Królowi Węgier Maciejowi Korwinowi, który zjednał się z zakonem krzyżackim przeciwko Polsce, toteż w drugiej połowie lat 70. XV wieku król Kazimierz Jagiellończyk nakazał podjęcie przeciwko nim akcji zbrojnej i opanowanie należących do nich zamków. Według Jana Długosza zadanie to wykonały wojska królewskie pod dowództwem starosty krakowskiego Jakuba z Dębna, które w 1477 roku zdobyły trzy zamki kontrolowane przez Komorowskich: zamek w Barwałdzie, poprzednio również należący do Włodka Skrzyńskiego, zamek w Szaflarach i zamek w Żywcu.
Jan Długosz pisze, że zdobyte wówczas warownie były oblegane z użyciem "ogromnych dział" 
i zamek w Żywcu został spalony. Literatura podaje w oparciu o dane archeologiczne, że w trakcie akcji wojsk królewskich przeciwko Komorowskim zniszczono dwa obiekty obronne w rejonie Żywca: pierwotny zamek usytuowany na terenie miasta, w miejscu obecnego Starego Zamku w Żywcu oraz zamek na wzgórzu Grojec.

A z samymi Skrzyńskimi wiąże się pewna legenda:
Gdy po latach zbójowania i grabienia ludności Włodek Skrzyński został pojmany i skazany na śmierć. Wyrok wykonano zaraz obok murów Zamczyska na Grojcu.
Otóż bednarzom kazano wybudować sowitą beczkę aby mogła pomieścić całego Skrzyńskiego do środka. Dodatkowo przed zadekowaniem beczki, wsypano do jej wnętrza gwoździe. 
Tak przygotowaną beczkę zrzucono ze wzgórza wprost do Soły. W ten sposób wykonano wyrok śmierci za zbójowanie i grabienie karawan kupieckich i okolicznej ludności.
 A co ze skarbami Skrzyńskich? Te ponoć zapadły się wraz z Zamczyskiem do wnętrza góry. 
Na skutek klątwy w dzień Wielkiej Nocy, o północy Zamek zapadł się po pod ziemię.
Dlatego co roku o tej porze na stromym zboczu Grojca od strony browaru uchyla się skała i otwiera wejście do wnętrza góry, gdzie ukryte są bogactwa Skrzyńskich. Niestety nikt nie wie jak długo skała pozostaje uchylona. Legenda głosi, że każdy odważny śmiałek, który wchodzi do jej środka jest tak olśniony skarbami, że zapomina o czasie i pozostaje tam na zawsze. Uwolnić natomiast śmiałka zdoła ten, kto o północy przy świetle pełni księżyca zdoła zaorać wzgórze Grojca na kolanach dwoma wołami. Zamczysko wtedy na powrót stanie w pierwotnym miejscu.

Dzisiaj dodatkiem do zaorania wzgórza stała by się jego przecinka, bo zarosło sakramencko.

Nam się udało i część skarbu udostępniliśmy Keszerom!!!

Aby podjąć skarb trzeba zboczyć z głównego żółtego szlaku prowadzącego na szczyt. Skarb znajduje się pod skalnym zboczem z którego rozpościera się widok na włości Skrzyńskich i nieistniejące w ich czasach jezioro.

ZACHOWAJ OSTROŻNOŚĆ PRZY PODEJMOWANIU KESZA I ZOSTAW GO W DOBRYM STANIE I MASKOWANIU DLA KOLEJNYCH ZBÓJNIKÓW.