Дворец получил свое название по титулу Потемкина – «Князь Таврический», который был пожалован ему в 1787 году, когда российская армия под командованием князя одержала победу в русско-турецкой войне, и в результате к Российской империи был присоединен полуостров Крым – «Таврия». От названия Таврического дворца происходят наименования Таврического сада, Таврической улицы и Таврического переулка.
Это не только шедевр отечественного зодчества, но и один из лучших и крупнейших дворцов Европы. Изысканная скромность фасадов Таврического дворца контрастировала с исключительной роскошью и великолепием внутреннего убранства. Особенное впечатление на гостей производил Зимний сад, в центре которого в специальной ротонде стояла мраморная скульптура Екатерины-Законодательницы. Такой сюрприз князь приготовил специально для императрицы, которая побывала у него в гостях во время большого праздника, о котором говорил весь Петербург.
(28 апреля) 9 мая 1791 года Потемкин в своем новооткрытом Таврическом дворце устроил грандиозное торжество в честь Екатерины II и по случаю взятия А.Суворовым турецкой крепости Измаил. На торжестве присутствовала практически вся знать Санкт-Петербурга – около трех тысяч человек. Главной гостьей, конечно, была императрица, а вот главный герой штурма Измаила, А.Суворов, не был приглашен на этот праздник. За три дня до торжества по высочайшему повелению он был направлен в Финляндию для инспектирования пограничных крепостей.
Программу праздника составили спектакли, танцы, ужин, фейерверк, во всех залах дворца и в парке устроили грандиозную иллюминацию. Для этого во всем городе был скуплен свечной воск. Его не хватило, пришлось закупать воск и в Москве. Гости не переставали восхищаться великолепным дворцом и богатством князя. Не забыли тогда и простой народ – у входа во дворец поставили бочки с вином и столы с закуской.
По обычаям того времени каждый придворный праздник открывал полонез. Это торжество было открыто полонезом «Гром победы, раздавайся!», где он исполнен был впервые. Текст Гимна-марша сочинил поэт Г.Державин, музыку к нему сочинил композитор О.Козловский. В последующие годы «Гром победы» стал звучать в ответственные моменты важнейших церемоний.
Поэт Державин, который также присутствовал на этом празднике, оставил современникам и потомкам подробное «Описание торжества бывшего по случаю взятия города Измаила в доме генерал-фельдмаршала князя Потемкина-Таврического, близ конной Гвардии, в присутствии императрицы Екатерины II, 1791 года 28 апреля».