Вторая Московская гимназия была открыта в 1836 году в бывшем дворце графа Мусина-Пушкина на площади Разгуляй. Под её управлением работали московские уездные училища. При гимназии имелся благородный пансион.
Московский университетский благородный пансион 29 марта 1830 года был обращён в 1-ю Московскую гимназию, а существовавшая тогда Московская губернская гимназия была переименована во 2-ю Московскую гимназию, однако такая ситуация продлилась недолго. По Высочайшему повелению от 22 февраля 1833 года 1-я гимназия была переименована в Московский дворянский институт, а Московская губернская гимназия, носившая название второй, стала с этих пор именоваться первой.
В 1834 году будущий попечитель московского учебного округа граф Сергей Григорьевич Строганов при посещении единственной в то время в Москве гимназии (1-я Московская гимназия) установил, что она переполнена учащимися. В результате было сделано представление в министерство народного просвещения о необходимости для столь многолюдного города, как Москва, открытия 2-й гимназии.
Сначала предполагалось купить дом князя М. П. Голицына на Новой Басманной улице (№ 26). Однако 31 января 1834 года была заключена купчая о приобретении за 130 тыс. руб. ассигнациями дома наследников графини Е. А. Мусиной-Пушкиной на Разгуляе. Купчая на этот дом с принадлежащею к нему землей (более 5 тыс. кв. сажен) была заключена от имени графов Ивана и Владимира Алексеевичей Мусиных-Пушкиных. По описи, приложенной к купчей, продавались главный трёхэтажный каменный корпус, два каменных двухэтажных флигеля и один флигель одноэтажный. Общая площадь владений, включавших также сад с прудом составляла 5607,5 квадратных саженей. Строительному комитету при Московском университете под председательством помощника попечителя Голохвастова было предложено заняться переделкой купленного дома. Здание, с помещением в него гимназии и пансиона, было открыто 24 августа 1836 года. В 1837 году был открыт, надстроенный каменным этажом, флигель, в котором разместилась больница и квартиры чиновников. В главном корпусе имелись деревянные лестницы, которые позднее (в 1847 и 1857 годах) были заменены чугунными на средства потомственного почетного гражданина И. Ф. Мамонтова.
Училищный комитет Московского Университета подобрал преподавателей: директором был назначен статский советник И. А. Старынкевич, законоучитель, 4 старших учителя: по истории, географии, латинскому языку, математике; и младшие учителя: по русскому, немецкому, французскому языкам. Ко дню открытия поступило 103 ученика, в том числе 19 дворян, 49 обер-офицерских детей, 2 духовного звания, 10 купеческого сословия, 16 мещан, 4 цеховых, 1 иностранец и 2 разночинца. 14 ноября 1835 года 2-я гимназия была открыта.
По Уставу 1828 года фактически было 2 типа гимназий — с греческим языком и без него. 2-я Московская гимназия, спустя два года после своего открытия, была отнесена к числу гимназий с греческим языком. Были добавлены уроки черчения и рисования, физики. По штату гимназии семь старших учителей были членами Педагогического Совета гимназии и состояли в IX классе государственной службы, получая в год жалованья 1950 руб. ассигнациями; законоучитель получал 1000 руб., три младших учителя, а также учитель чистописания и рисования — 900 руб.
На основании Указа от 1 ноября 1851 года гимназии разделялись:
- с преподаванием естественной истории и законоведения;
- с преподаванием только законоведения;
- с преподаванием латинского языка в большем объёме и языка греческого.
Число последних было очень невелико: всего 13 по всей империи, а в Москве — только 2-я мужская гимназия. Именно в ней было сохранено преподавание греческого языка для желающих поступить на историко-филологический факультет и, кроме того, латинский язык преподавался в большем объёме начиная не с IV класса, а со II класса. По особому учебному плану в гимназии существовало три параллельных отделения — чисто филологическое, юридическое и полуфилологическое, в связи с чем было разрешено иметь двух учителей латинского языка.
По новому уставу гимназий, утверждённому 11 ноября 1864 года, средние учебные заведения делились на классические и реальные гимназии с семилетним курсом; в классических гимназиях либо сохранялось изучение обоих древних языков — греческого и латинского, либо изучался только латинский. Во 2-й Московской гимназии сохранено было преподавание обоих древних языков. Преподавание законоведения прекращалось с 1 августа 1865 года, а заинтересованным ученикам предложено было перейти в 1-ю и 4-ю Московские гимназии для окончания своего образования.
В течение периода с 1865 по 1871 год среднее число учеников в гимназии ежегодно равнялось 460. В это время в фундаментальную библиотеку гимназии было приобретено 1219 томов, в то же время приобретений для ученической библиотеки в некоторые годы (1865, 1866, 1867, 1869) вовсе не делалось.
При гимназии работали: педагогические классы (до 1859); воскресные школы, в том числе все московские женские и несколько мужских; женские курсы — педагогические (с 1865), исторические (среди преподавателей И. Е. Забелин) и естественнонаучные (с 1869).
16 января 1868 года был освящён гимназический храм во имя Св. Апостола Андрея, при котором 2 года, до марта 1870 года действовало братство Св. Апостола Андрея Первозванного.
В 1905 году занятия в гимназии были временно прекращены. В следующий раз гимназия закрылась осенью 1917 года, как оказалось — окончательно.
