Сквер был разбит в 1922 году по проекту архитектора Г.Алескерова на месте типографии «Каспий» и положил начало озеленению этого участка города. Формирование сквера проходило поэтапно. В том же 1922 году в сквере вблизи от средневековой стены был установлен памятник Сабиру (скульптор Яков Кейлихис, архитектор Я. Сырищев). В 1950-е годы сквер значительно расширился и территория его была дополнительно благоустроена и озеленена. Новая структура озеленения, а также вид, который открылся на крепостную стену, усилили архитектурно-художественный облик всего пространства. В связи с этим возникла необходимость в создании нового памятника поэту, который и был установлен в 1958 году (скульптор Джалал Карягды, архитекторы Г. Ализаде и Э. Исмайлов) в центре планировочной композиции сквера. Исторические памятники архитектуры, находящиеся в окружении сквера, также являются немаловажным компонентом. Достижению характерного архитектурно-ландшафтного образа сквера способствовали и проведённые по озеленению и благоустройству реконструктивные мероприятия.