Сребърният павилион е Ginkakuji (или Higashiyama-den, официалното име на храма е Jisho-ji), построен през 1489 г. от шогуна Ашикага Йошимаса, вдъхновен от Златния павилион на Kinkaku-ji, който е построен от неговия дядо Ашикага Йошимацу и по-късно става будистки храм.

Основната сграда е храмът на богинята Канон. Този храм всъщност се нарича Сребърният павилион. Според една от версиите е трябвало да бъде покрит със сребро, но поради бедствията на Онинската война през 1467 г. строителството е спряно и павилионът не е покрит със сребро. Сребърният павилион първоначално е бил предназначен за почивка на шогуна. След ужасите и опустошенията на войната през 1485 г. Йошимаса решава да стане дзен будистки монах и след смъртта му вилата се превръща в храм, преименуван на Джишо-джи. Сребърният павилион е единствената структура, останала от храмовия комплекс от онова време.