В народе сад часто связывают с именем Оренбургского генерал-губернатора графа Василия Александровича Перовского, который якобы в 1833 году предпринял первую попытку озеленения города Орска. Легенда гласит, что берёзу, клён и тополь завезли из близлежащих районов Оренбургской губернии. За их ростом следили, поливали, на зиму укрывали; деревья прижились. Один из таких садов был назван Перовским. Через 100 лет данный сад перестал существовать. Однако на деле данная легенда не соответствует действительности и к саду Перовских генерал-губернатор Перовский не имел никакого отношения.

«Сад Перовских» был образован в 1890 году. Семья Дмитриевых, орских мещан, приехавших в нашу местность из города Перова, арендовала данный фруктово-ягодный сад в 1896 году. Семья получила уличное прозвище «Перовские», что в последующем закрепилось и за их садом.