Родился 17 мая 1917 года в селении Мордовский Пимбур (ныне Зубово-Полянского района Мордовской Республики) в семье крестьянина-бедняка.

Окончил 7 классов средней школы. Работал в колхозе. Позже переехал в Москву, где работал арматурщиком в Московском городском дорожно-строительном управлении.

В 1938 году был призван в Красную Армию и после окончания полковой школы, принимал участие в освободительном походе советских войск в Западную Украину и Западную Белоруссию (1939г.), в 1939-1940 годах – в войне с белофиннами.

Боевой путь старшего лейтенанта Гангаева в Великой Отечественной войне начался 22 июня 1941 года на Южном фронте в составе Северной группы войск Закавказского фронта.

С августа 1942 по январь 1943 года действовал на Владикавказском направлении. В тяжелых оборонительных боях под Владикавказом Алексей Кузьмич командовал стрелковым взводом, служил заместителем командира пулеметной роты в Северо-Осетинской бригаде народного ополчения.

В бою под Краснодаром 23 марта 1943 года был тяжело ранен.

После лечения Гангаев А.К. окончил курсы командиров пулеметных рот и в сентябре 1943 года был назначен заместителем командира батальона 47-й армии Воронежского фронта.

В ночь с 25 на 26 сентября 1943 года при форсировании реки Днепр, севернее города Канев Киевской области,  старший лейтенант Гангаев проявил отвагу и героизм. Он добровольно вызвался возглавить группу смельчаков. Пять человек во главе с Гангаевым высадились на правый берег Днепра и стремительным броском атаковали высоту, откуда противник обстреливал переправу, и в скоротечном бою отбил её у растерявшихся от неожиданности немцев. Закрепившись на занятой позиции, Гангаев с автоматом в руках начал вести обстрел прилегающих высот. К рассвету противник был оттеснен, переправа защищена от ружейно-пулеметного огня неприятеля. К исходу дня 26 сентября гитлеровцы, собрав все силы, перешли в контратаку, пытаясь окружить и уничтожить переправившуюся группу. Положение стало критическим. Автоматчики неприятеля просочились к берегу и почти вплотную подошли к командному пункту. Алексей Кузьмич встретил врага жестоким огнём в упор из ручного пулемёта. Фашисты, бросив оружие, в панике бежали. Важный рубеж был удержан. Это дало возможность переправиться через Днепр  основным силам.

3 октября 1943 года за проявленные мужество, отвагу и личное геройство Гангаев А.К. был представлен к званию Героя Советского Союза.

Из наградного листа:

«В ночь с 25 на 26 сентября 1943 года при форсировании реки Днепр в районе Дачи Тальберга, севернее г. Канев Киевской области, заместитель командира 2-го стрелкового батальона по строевой части 256-го стрелкового полка 30-й стрелковой дивизии старший лейтенант Гангаев проявил отвагу и героизм. Он добровольно вызвался возглавить группу смельчаков. Пять человек во главе с Гангаевым высадились на правый берег Днепра и, проявляя воинскую доблесть, стремительным броском атаковали высоты, откуда противник просматривал и обстреливал всю переправу.

Заняв оперативные позиции, Гангаев предпринял огневое нападение с автоматами на другие прилегающие высоты. Отвагой, дерзостью, героическими действиями смельчаков  ошеломленный внезапным нападением противник был изгнан к рассвету со всех высот – переправа была прикрыта от ружейно-пулеметного огня.

К исходу дня 26 сентября фашисты, накопив силы, перешли в контратаку, пытаясь окружить и уничтожить группу наших отважных воинов. Положение было критическое, немецкие автоматчики, просочившись к берегу,  действовали в 100 метрах от командного пункта нашего десанта, покрывая всё вокруг интенсивным огнем. И старший лейтенант Гангаев, мгновенно оценив ситуацию, сам лег к ручному пулемету и встретил фашистских автоматчиков шквальным огнем. Фрицы, бросая оружие, в панике бежали, преследуемые гранатным и ружейно-пулеметным огнем.

Рубеж был удержан, положение восстановлено, и это дало возможность… переправиться через Днепр и подкреплению, и основным силам».

Указом Президиума Верховного Совета СССР от 25 октября 1943 года старшему лейтенанту Гангаеву Алексею Кузьмичу было присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда» за номером 4119.

Был также награжден орденами Отечественной войны 1 степени и П степени, медалью «За оборону Кавказа» и рядом медалей.

После освобождения Киева старший лейтенант Гангаев воевал на Правобережной Украине.

После войны продолжал службу в Вооруженных Силах СССР. В мае 1945 года Гангаев А.К. окончил курсы усовершенствования офицерского состава и служил в военном комиссариате г. Полтавы.

В 1947 году в звании капитана был уволен в запас. Проживал в городе Ахтырка Сумской области. Работал на Ахтырском ордена Трудового Красного Знамени заводе «Промсвязь». В мирном труде, как и в боевой обстановке, коммунист А.К. Гангаев показывал пример самоотверженной службы родной Отчизне. Принимал активное участие в общественной жизни завода. Был награжден медалью «За доблестный труд».

Скончался 17 марта 1990 года, был похоронен на Центральном кладбище Ахтырки.

Имя его не забыто: в родном селении Героя, на доме, где он родился и рос, установлена мемориальная доска. В Ахтырке установлен бюст Гангаева Алексея Кузьмича.