Според преданието манастирът е построен през 13-ти век, когато по тези места се заселва украинският княз Георги Глож с благословията на цар Иван Асен II. В близост до кръстеното на него село Гложене и река Черни Вит той основава света обител, посветена на Св. Георги Победоносец, икона на когото носи със себе си. Според легендата, скоро след основаването на манастира, иконата многократно е изчезвала от обителта, само за да бъде намерена по-късно на хълма недалеч от селото, на който се намира настоящият манастир. Това необяснимо ‘бягство’ на иконата е било изтълкувано от монасите като божи знак за това, че манастирът трябва да бъде преместен на хълма, което и те в крайна сметка правят в края на 14 век. За кратко време, двата манастира съществуват паралелно, свързани от тунел помежду си. Този проход е използван многократно от Апостола на свободата Васил Левски за бягство от турците. За съжаление тунелът е затрупан от земетресение през 1928 г. В манастира е живял и известният български книжовник Васил Друмев след като княз Фердинанд, който изповядва католицизма, постановява Друмев да бъде затворен там. В продължение на 15 месеца той изкарва на солена риба и вода, както и на скришом давани му провизии от милостиви монаси през незабележим отвор на тавана на стаята му. Васил Друмев е освободен след падането на правителството на Ал. Стамболов.