Идея создания музея родилась в 1970-е годы во время подготовки к 100-летнему юбилею КГПИ (Казанский государственный педагогический институт, позже Татарский государственный гуманитарно-педагогический университет, с 2011-ого года в составе Казанского федерального университета).
Преподаватели и ветераны педагогического института обратились к ректору КГПИ, профессору Закиеву М.З. с просьбой создать свой музей истории. Ректор поддержал эту идею и вынес на обсуждение коллектива института. В результате появилась комиссия по созданию музея вуза. Горячими сторонниками этой идеи были преподаватели - историки: Н.П.Муньков, М.З.Тутаев, К.Р.Синицына, ветераны ВОВ: Р.В.Гатауллин, Л.Н.Фурер, Т.Я.Курбанов, Ш.А.Ахмадуллин, С.М.Исхакова и др. Они обращались к сотрудникам, ветеранам на различных совещаниях и заседаниях с просьбой передавать свои материалы в музей. Одной из главных трудностей стала проблема поиска помещения для музея. Такое помещение было найдено, благодаря ректору, проф. М.З.Закиеву и секретарю парторганизации А.А.Михеевой. Музей открылся в небольшой учебной аудитории, к 100-летию КГПИ, в 1977 г.
В 1980-е годы музей был закрыт из-за нехватки учебных помещений для студентов. Все собранные коллекции были перенесены в подвал, многие из них были утрачены, бесследно исчезли.