Жилой дом купцов Нечаевых построен в начале 1770-х гг. Принадлежал городскому голове Тимофею Ивановичу Нечаеву (ок. 1765–1812). После его смерти дом перешел к его детям от второго брака с Екатериной Кривошеиной: Петру (1801–1844), Павлу (1801–1845) и Николаю (1793–1852). Они вели совместные торговые операции. После смерти братьев единственным владельцем особняка стал Н.Т. Нечаев, который отмечал, что дом «совсем почти перестроен и приведен в надлежащий вид».

В 1855 г. в здании жил полицмейстер Ф.Л. Колиньи. С 1862 по 1868 гг. дом арендовала Мариинская женская гимназия. Затем дом находился во владении присяжного поверенного М.Н. Нечаева (1832–1886) и его жены Е.Л. Нечаевой (1846–1914). В 1872 г. дом был продан потомственному почетному гражданину города Ю.А. Айвазу.

С 1897 г. до начала XX в. он принадлежал врачу, писателю, публицисту, члену исполкома «Народной воли» С.В. Мартынову (1855–1919), под именем которого и вошел в краеведческую литературу. С.В. Мартынов приехал в Воронеж после десятилетней ссылки за революционную деятельность. Свой дом он предоставлял для нелегальных собраний воронежских социал-демократов, за что в 1902 г. был вновь арестован и сослан. В доме часто бывали выдающиеся педагоги А.П. Киселев, Н.Ф. Бунаков, врач К.В. Федяевский, статистик Ф.А. Щербина, социал-демократы А.И. Любимов, Л.Я. Карпов, В.А. Носков и др. Во время Великой Отечественной войны здание горело. Восстановлено по проекту архитектора А.В. Миронова с сохранением объема и его архитектурно-композиционной трактовки. Научная реставрация здания проведена в 1991–1993 гг. по проекту архитектора Воронежской реставрационной мастерской Т.М. Синегуб. Является одним из трех крупнейших жилых зданий города эпохи классицизма. 

До 1988 г. в здании размещался городской Дворец пионеров и школьников, в 1992–2001 гг. – Комитет по культуре администрации Воронежской области.

Прямоугольный в плане двухэтажный объем сооружен из кирпича и оштукатурен. Главным протяженным трехчастным фасадом дом обращен к улице. Центральная часть повышена до трех этажей и подчеркнута шестиколонным портиком большого ордера. Колоннам соответствуют пилястры, увенчанные такими же, как у колонн, изящными коринфскими капителями. Во втором этаже устроен балкон. В помещениях первого этажа сохранились мощные сводчатые перекрытия.

 Фото: Антон Позднухов