V roce 1356 dal král Karel VI. příkaz Vítovi zvanému Hedvábný k zahájení příprav na stavbu hradu ve střední části Šumavy. Královo rozhodnutí vycházelo především z potřeby ochránit zemskou hranici proti Bavorsku. Spolupůsobil zde nepochybně také zřetel na zajištění blízkého naleziště zlata, které se rýžovalo ve Vydře u Rejštejna. V této krajině již roku 1337 král Jan Lucemburský vydal svému věřiteli Petru z Rožmberka písemné oprávnění k těžbě drahého kovu. Z hradu bylo také možno dozírat na provoz na staré Vintířové stezce, která vycházela z Pasova, postupovala z bavorského Zwieselu na Hartmanice a dále do Sušice. Význam hradu také vzrostl tím, že se v roce 1361 stal sídlem popravy.

Na počest stavebníka dostal hrad jméno Karlsberg - počeštěně Kašperk. Hrad byl vystavěn na ostrohu Ždánova. Branou ve vnější hradbě na východní straně se vstupovalo do protáhlého předhradí, v jehož čele byl příkop a budova purkrabství napříč ostrohu. Průjezdní druhou branou se odtud vstupovalo do horního hradu s patrovým palácem s věžemi čtverhranného půdorysu na obou koncích. Na věžích jsou ochozy spočívající na krákorcích, obě věže měly vysoké stanové střechy vyzděné z cihel (na západní věži se cihlová střecha dochovala dodnes). Hrad je pozoruhodný svým půdorysným typem, jehož variantou je rovněž královský hrad Radyně. Po dostavění asi v roce 1365 nebyl hrad jako královský majetek v přímé správě královských úřadů, nýbrž byl stále zastavován.

Prvním zástavním držitelem Kašperka byl byl pražský arcibiskup Jan Očko z Vlašimi. V roce 1379 zastavil král Václav VI. hrad s příslušenstvím - dva dvory, ves Kavrlík a právo vybírat mýto v pohraničí osadě Cimburku, včetně neomezené těžby dřeva v lesích - lankrabímu Janu z Leuchtenberka. V roce 1402 král potvrdil zástavu Harantovi z Hartenbergu. Od roku 1411, kdy Kašperk získal Petr Zmrzlík ze Svojšína, byli zástavní držitelé hradu a panství převážně z řad domácí šlechty. Zmrzlík a jeho syn Václav stranili táborům až do osudné bitvy u Lipan v roce 1434.

V posledních letech držby Kašperka a to v letech 1450-1453 měl Petr Zmrzlík časté pohraniční půtky s bavorskými bojůvkami (rytířem Martinem Sattelbognerem). Roku 1454 prodal kašperské panství Zdeňku ze Šternberka. Také on musel po čase a to v roce 1470 odrážet nepřátelské vpády ozbrojenců pasovského biskupa Oldřicha.Roku 1487 prodal Zdeňkův syn Zdislav Kašperk Bohuslavu ze Švamberka. Ten dal přenést oltář z hradní kaple do kostela v Kašperských Horách. Dosavadní zástavní majitelé Kašperka nevěnovali údržbě hradu náležitou pozornost. Nějaké opravy na hradě se prováděly v roce 1495 za Jindřicha, syna Bohuslava ze Švamberka a doktora Václava z Velhartic, jemuž pak v roce 1533 jeho nástupce Jiřík Lokšan uhradil prokázané výdaje. Roku 1553 zastavil král FerdinandI. kašperské panství Ludvíku Tovarovi z Enzesfeldu, jemuž český sněm poskytl úvěr na další opravné práce v roce 1554.

Zdá se, že tyto opravné práce byly dost rozsáhlé, protože ještě Tovarově vdově Zuzaně povolil král, aby si mohla ze zástavy odpočítat vynaložené peníze. Když potom byly městu Kašperským Horám pronajaty hrad v roce 1585, čtyři pusté dvory, lesy a mýto, převzal nový uživatel na sebe povinnost pokračovat v nutných opravách hradního objektu. S krátkou přestávkou v letech 1600-1605, kdy si Kašperk pronajal celní komisař Mikuláš Černohorský z Hořiměřic, drželo město hrad až do roku 1617. Za městské správy však objekt nebyl již řádně udržován, takže v kupní smlouvě z roku 1617 se uvádí jako pustý. Když po třicetileté válce nařídila vídeňská vláda, aby všechny pevné hrady v Čechách byly zbořeny,aby se eventuálně v příští válce nestaly opěrnými body nepřítele, nebyl tento příkaz na Kašperku proveden.

Kašperští získávali ze zříceniny stavební materiál. V 19.století byl hrad částečně opraven, dlouhodobá rekonstrukce v prostorách bývalého purkrabství stálou expozicí věnovanou dějinám a stavebnímu vývoji hradu, ukázky výtvarného umění doby Karla VI. a Václava VI. i expozici se zaměřením na těžbu zlata.Východní věž je upravena na rozhlednu. Kašperk byl nejvýše položený královský hrad - nachází se ve výšce 886 m.n.m.