室町時代、駿河の守護大名今川義忠氏が遠江進出を狙い、家臣の朝比奈泰凞に命じて築城させたのが掛川城の始まりといわれています。戦国時代には山内一豊が城主として１０年間在城。働き盛りの一豊は大規模な城郭修築を行い、天守閣、大手門を建設するとともに、城下町の整備や大井川の治水工事などに力を注ぎました。
江戸時代には、徳川親藩の松平氏や江戸城を築いた太田道灌の子孫の太田氏など１１家２６代の居城として栄えました。貴族的な外観を持つ天守閣の美しさは「東海の名城」と謳われました。安政の東海大地震により天守閣など大半が損壊。御殿、太古櫓、蕗の門などの一部を除き、再建されることなく明治維新を迎え、廃城となりました。
その後、御殿は様々に使用されながら残りましたが、天守台や本丸跡などは公園とされてきました。天守閣は平成６年に木造により再建されたものです。天守閣は、外観三層、内部四階から成ります。東西に大きな張り出し部を設けたり、入り口に付櫓を設けたりして外観を大きく複雑に見せています。
御殿は、儀式・公式対面などの藩の公的式典の場、藩主の公邸、藩内の政務を司る役所という３つの機能を合わせ持った施設です。
三層四階の入母屋造である点と、二重目の唐破風出窓や慶長時代の様式といわれる花頭窓などは、絵図などの調査に基づいて忠実に再現されています。 層塔型の天守ですが、三重目は高欄に囲まれています。高知城の天守を参考に、壁は白漆喰で塗り固められ、一豊創建時の姿に近いものであると考えられています。
天正１８年（１５９０年）
太鼓櫓（移築）、大手門番所（移築）
石垣、土塁、堀（いずれも一部）
三の丸の所にあった大手門は当時の場所に再建されています。三光稲荷のそばにあります。
大手門番所も幕末の建築であり、市の重要文化財に指定されています。三光稲荷のそばにあります。
二の丸には御殿があり、本丸は一段高いところにあります。そこから土塀脇を登って天守に向かいます。
三ノ丸から本丸に移築された太鼓櫓が下に見えています。その向こうは観光案内所です。
手前の土塀の向こうに天守が見えます。一層目が千鳥破風のある部分だけ横につきだしているのが分かります。
左に太鼓櫓、右の天守は左側に千鳥破風の付櫓がありそこが入り口です。手前に御殿の屋根が少しだけ見えています。
御殿は、公的式典の場・藩政の諸役所・藩主の公邸です。装飾に飛んだ複雑な玄関の屋根です。
丸く膨らんだ起破風（むくりはふ）の下には、火災除けの蕪懸魚（かぶらげぎょ）が付いています。
書院造りという建築様式です。玄関脇から見ると沢山部屋が並んでいるのが分かります。
内部は襖で分けられ畳敷きです。廃城後は学校や市庁舎などに転用されていました。
現存する城郭御殿としては、京都二条城など全国でも４カ所しかない建築物です。
