Художник родился в 1950 году в Ленинграде. Направление его творчества определилось в результате знакомства в 1969 году с В. В. Стерлиговым – художником, входившим в круг К. С. Малевича. С начала 1960-х В. В. Стерлигов проводил в своей мастерской неофициальные занятия, передавая молодым художникам принципы мировоззрения и формообразования открытые авангардом. Как и другие «стерлиговцы» А. Н. Гостинцев развивает традиции русского классического авангарда, использует абстрактный изобразительный язык, находит новые приемы и материалы.

Рустам Хальфин тесно общался и близко дружил с многими художниками-стерлиговцами из Петербурга, среди которых был и Алексей Гостинцев.

В 2018 году работы Алексея принимали участие в выставке «Школа В. Стерлигова: Санкт-Петербург – Алматы», которая проходила в Kazarian Art Center.