Здание, в котором сейчас располагается азербайджанская филармония, было построено в 1910—1912 годах, в то время оно называлось «Летний дом для общественных собраний» здание было построено и предназначено для Бакинского высшего общества. Проект поручили архитектору Тер-Микелову. Его даже откомандировали на Лазурный берег - в Монте-Карло, чтобы он присмотрелся к тамошней филармонии, ознакомился с ее проектом. И соорудил нечто подобное здесь, в Баку. Считалось, что филармония в Монте-Карло по своей красоте занимает одно из первых мест в Европе.
Окончательно проект был разработан в 1910 году и представлен на утверждение строительной комиссии городской управы. Ко времени начала постройки клуба в 1911 году на Набережной существовал бульвар, разбитый в 1909 году по инициативе инженера Мамед Гасана Гаджинского на площади 17 323,44 м2.
В филармонию здание было превращено в годы советской власти, здание выходит на две улицы Ниязи и Истиглалият. Вплоть до 1936 года разного рода музыкальные коллективы давали здесь свои концерты. 25 мая 1936 года, правительственным постановлением в Азербайджане была создана государственная филармония.
11 августа 1937 года решением совета народных комиссаров Азербайджанской ССР филармония была названа в честь композитора Муслима Магомаева (старшего). Здесь выступали виднейшие деятели культуры Азербайджана — народные артисты Азербайджана Хан Шушинский, Шовкет Алекперова, Ниязи, Сара Гадимова и др., а также зарубежные музыканты, такие как Юрий Башмет и Мстислав Ростропович.
В последние годы существования СССР азербайджанская филармония закрылась на ремонт. После длительного простоя 27 января 2004 года состоялось торжественное открытие отреставрированного здания филармонии. На открытие филармонии присутствовали президент Ильхам Алиев, министр культуры Полад Бюль-Бюль оглы а также всемирно известный виолончелист Мстислав Ростропович и народный артист Азербайджана ректор Бакинской музыкальной академии профессор Фархад Бадалбейли.