Feudální sídlo ve Švihově bylo založeno v prvé polovině 14. století. Původně šlo zřejmě o tvrz, která však byla záhy přestavěna na hrad. Za Švihovských z Rýzmberka byl od roku 1480 velkolepě pozdně goticky přestavěn. Roku 1547 se stal jeho majitelem Herolt Kavka z Říčan, od jehož potomků hrad koncem 16. století získali Černínové. Kvalitní opevnění způsobilo, že se Švihov ocitl mezi hrady, které měly být na příkaz císaře Ferdinanda III. z roku 1655 zbořeny. Naštěstí byla realizována pouze demolice části vnějšího opevnění. Hrad se však nacházel ve velmi špatném stavu a byl užíván pouze k hospodářským účelům, zvláště jako sýpka.
Částečné rehabilitace se dočkal až ve 20. století. Podobu hradu před pozdně gotickou přestavbou prozatím přiliš neznáme. Jeho součástí byl dnešní severní palác jádra, dále nějaká stavba v prostoru pozdějšího Říčanského paláce a snad i jižní palác jádra.
Při pozdně gotické přestavbě byly použity a přestavěny oba paláce obklopené novým prstencem vnějšího opevnění s okrouhlými baštami v nároží. Na východní straně dispozici doplnila kaple se závěrem nastavěným na polygonální baště.
Protože kaple nemohla přerušit hradby, byl prostor pod ní v plné šíři parkánu řešen jako tunelovitý průchod. Ve středu čela vstupní strany stojí mohutná čtverhranná vstupní věž s jednotlivými patry spojenými šnekovým schodištěm. Mezi ní a Červenou baštou stála budova, pozdější Říčanský palác, a v jižním rameni parkánu jsou doposud patrny zbytky čtverhranného objektu kuchyně, jejíž interiér byl pomocí trompů převeden do charakteristického polygonálního dýmníku. Výstavba hradu započala úpravami paláců a budováním opevnění. Původně zřejmě byly všechny místnosti paláců plochostropé, pouze kaple byla zaklenuta žebrovou hvězdovou klenbou. V průběhu osmdesátých let došlo ke změně plánu a paláce byly opatřeny klenbami. Pokud klenby nejsou přímo dílem Benedikta Rejta, vznikly alespoň pod vlivem jeho huti.
Pouze velký sál v druhém patře zůstal plochostropý. Roku 1514 Půta Švihovský z Rýzmberka zemřel a o hrad se rozdělili jeho synové Václav a Jan. Každému připadl jeden palác a odpovídající část parkánu s baštami. Protože však původní plán s takovýmto rozdělením na dva samostatné celky nepočítal, bylo třeba ho modifikovat a doplnit. K čelní spojovací hradbě bylo přistaveno úzké křídlo se schodištěm. Bylo nutné též vyřešit přístup do společné kaple, do níž se chodilo pouze přes velký sál v patře severního paláce. Ten byl proto předělen příčkami tak, aby vznikla chodba oddělená od obytných místností. Druhá patra obou paláců spojily kryté chodbičky, respektive můstky, s nárožními baštami. Nově upravena byla i vysoká vstupní brána, rovněž společná pro oba majitele. Zaklenutím se však zmenšil její průjezd, takže bylo nutno zazdít branku pro pěší a celou věž zvenčí zajistit opěrnými piliři. Jádro s vnitřním opevněním, obklopené vodním příkopem, obcházelo vnější opevnění, viditelně se rozpadávající na dvě odlišné části. První, dodnes zachovaný západní úsek není příliš pokrokový a evidentně vznikl v prvé fázi pozdně gotické přestavby hradu.
Výsledkem působení Benedikta Rejta je kromě staveb v jádře (především jeho opevnění včetně vstupní věže) východní část vnějšího opevnění, dnes bohužel v důsledku císařského nařízení z roku 1655 z větší části zbořená. Dobře čitelné terénní relikty odkryl výkop v roce 1951. Úsek tvořila mohutná hradba se třemi rozměrnými, dovnitř otevřenými okrouhlými baštami, na jejichž ochozy vedla zděná schodiště. Součástí této části opevnění byla i nová vysoká vstupní věžová brána, analogická věži v opevnění vnitřního hradu, a patrně i dochovaná okrouhlá bašta napravo od ní.
V přízemí torza vstupní věže se dochovala charakteristická střilna s brýlovou průstřelnicí a otočným dřevěným bubnem (stejné střílny byly užity i ve vstupní věži jádra). I vnější opevnění obklopoval široký vodní příkop. Podobu hradu známe i v zaniklých částech velmi přesně díky nástěnné malbě v hradní kapli z dvacátých let 16. století. Na pozadí boje sv. Jiří s drakem je detailně namalován hrad, jak vypadal po dokončení. Víme tedy, že obě čtverhranné věže i paláce ukončovala omítaná hrázděná polopatra pod vysokými střechami. Známe podobu hrázděných hradebních ochozů i drobných špičatých věžiček, jež doplňovaly členitou a malebnou siluetu hradu, shlížející se ve vodní hladině.
Prvá fáze hradu zřejmě náležela do kontextu dvoupalácových dispozic. Pozdně gotický Švihov se svým mohutným dělostřeleckým opevněním, širokými vodními příkopy a celým vodním systémem schopným zatopit a rozbahnit širší okolí hradu náležel mezi nejkvalitnější pevnosti své doby. Obranný systém vykazuje četné shodné prvky i řešení se současně přestavovaným hradem Rabí. Kombinace aktivní dělostřelecké obrany s vodními plochami zde byla dovedena k dokonalosti. Užití střílen s otočnými bubny, známých z Rejtova opevnění Pražského hradu, snad ukazuje na jihoněmecké, pravděpodobně norimberské souvislosti.