W roku 1780 kupiec Izaak Ollier zakupił od Augusta Sułkowskiego posesję w tym miejscu. Wystawił na niej pałac w stylu klasycystycznym, najprawdopodobniej według projektu Efraima Schroegera. Jego budowę ukończono w 1784.

W 1848 roku kupił go Władysław Pusłowski i zlecił jego przebudowę architektowi Henrykowi Marconiemu. Marconi dodał jedno piętro, trzy oficyny, balkony, attykę balustradową. Fasadę przyozdobił korynckimi pilastrami. W 1851 ustawiono rzeźby przedstawiające muzy: Klio, Uranię, Erato i Talię, wykonane przez Pawła Malińskiego.

W 1853 pałac stał się własnością hrabiny Aleksandry z Lavatów Kossakowskiej. Jej mąż Stanisław Kossakowski zgromadził w budynku zbiory malarstwa, broni; stworzył również okazałą bibliotekę. W 1858 roku przerobiono wnętrza pałacu według projektu Franciszka Marii Lanci. Utworzył on salę balową i galerię malarstwa. W 1865 posesję odziedziczył syn Kossakowskich - Stanisław Kazimierz. Od 1874 organizował w pałacu piątkowe wieczory literackie. W belwederze pałacu znajdowała się pracownia Władysława Podkowińskiego, w której w 1894 powstał jego obraz Szał uniesień. Właściciel zmarł w 1905 roku. W następnych latach pałac stał się kamienicą czynszową; od tego czasu był zaniedbywany. W 1930 został kupiony przez Warszawskie Towarzystwo Ubezpieczeń.

Pałac został mocno zniszczony podczas kamapnii wrześniowej 1939; dodatkowo ucierpiał podczas powstania warszawskiego w 1944 roku. Odbudował go Mieczysław Kuzma w latach 1946-1949; odbudowa ta była ufundowana przez towarzystwo "ASEA". Od 1968 należał do skarbu państwa. W 1972 odtworzono figury muz.