W 1198 r. osada została nadana przez księcia Grzymisława zakonowi joannitów, którzy tu zbudowali zamek. Na wschód od niego założono miasto , którego prawa miejskie pochodzą z 1320 r. Skarszewy, od 1305 r. siedziba baliwatu joannickiego, zostały w 1370 r. odsprzedane Krzyżakom za 10 tysięcy grzywien. Po pokoju toruńskim 1466 r. miasto stało się ważnym ośrodkiem polityczno - administracynym Prus Królewskich. Od 1613 r. urzędował w nim wojewoda pomorski, który łączył tę godność z funkcją starosty skarszewskiego. Miasto było siedzibą sądu grodzkiego Prus Królewskich, któremu przewodniczył sam wojewoda pomorski. W tymże Sądzie praktykował w latach 1762-1767 Józef Wybicki, urodzony w pobliskim Będominie. Lata zaboru pruskiego (1772-1920) przynoszą zastój i utratę znaczenia miasta. Prusacy rozebrali część zamku. Już w w pierwszych miesiącach okupacji 1939 r. wymordowano w Skarszewach i okolicy 2 tys. Polaków, w tym wielu na starym cmentarzu pożydowskim nad jeziorem Wielkie Borówno. Patronował tej akcji Modrow z Bączka. Lata po wyzwoleniu w 1945 r. przyczyniły się do odbudowy i rozbudowy miasta. Rozwinął się przemysł, głównie drobny. Skarszewy liczą obecnie 4500 mieszkańców, a atutem tego spokojnego miasteczka, położonego w pięknym krajobrazie, są zachowane zabytki, do których należą m. in.: zamek (wysoki) stojący na wysokim cyplu w zakolu Wietcisy, kościół farny z XIII-XIV w., fragmenty gotyckich murów obronnych i baszt, w tym najlepiej zachowanej Baszty Skazańców, w której kiedyś urzędował nie lubiany mistrz sprawiedliwości, kat.