В 1936—1938 годах проходил службу в Рабоче-крестьянской Красной армии в конно-артиллерийском полку 8-й конной дивизии. Окончил полковую школу младших командиров, а затем курсы младших лейтенантов и получил звание младший лейтенант. Был назначен командиром роты в городе Ливка. В феврале 1941 года вступил в ряды ВКП(б).
Александр Гаврилович Рыбин родился 22 ноября 1914 года в селе Правые Ламки (Сосновский район Тамбовской области). Его родители — отец Гаврил Кириллович и мать Ирина Петровна были крестьянами. В 1932 году вступили в колхоз. В 1922 году восьмилетний Саша пошёл учиться в местную школу, но из-за трудного материального положения через шесть лет школу пришлось оставить и помогать родителям по хозяйству. Был слесарем-водопроводчиком, ездил на заработки в Москву, работал в колхозе.
Война застала Александра Рыбина в Орле, во время прохождения военных сборов. А через месяц он принял первое боевое крещение под городом Ельня Смоленской области. В сентябре под Мценском был ранен и направлен на излечение в Тамбов.
После госпиталя в боях под Москвой Александр Рыбин командовал батальоном 18-й стрелковой бригады Центрального фронта.
На лечение Рыбина отправили в город Горький. Там он не терял времени даром — учился. Был офицером Генерального штаба.
С мая 42-го Рыбина направили в Гороховецкие лагеря на должность заместителя командира 15 мотострелковой бригады. Воевал на Брянском фронте. А потом войска были передислоцированы под Сталинград. Находясь на реке Кшень, участвовал в окружении немецкой армии под командованием Паулюса. К этому времени боевые заслуги Александра Рыбина были отмечены орденами Красного Знамени и Красной Звезды.
В боевой характеристике на Александра Рыбина написано:
«В бою смел, инициативен, имеет хорошие знания и богатый накопленный опыт в ведении современной войны. Батальон под командованием Рыбина одержал ряд побед над врагом. В критические моменты боя, когда очевидно превосходство сил врага, все же благодаря предприимчивости и расторопности умеет взять инициативу и личным примером отваги и мужества увлекает бойцов и достигает победы».
Корпус, в котором воевал Рыбин, влился в 16-й танковый корпус 2-й танковой армии 2-го Украинского фронта и был направлен на защиту Орловско-Курской дуги.
В начале 1944 года капитан Александр Рыбин командовал 1-м мотострелковым батальоном 15-й мотострелковой бригады 16-го танкового корпуса 2-й танковой армии 2-го Украинского фронта. Его батальон был направлен на освобождение Украины. Киев к этому времени был освобождён. Войска готовились к Корсунь-Шевченковской операции. Здесь Красная армия развернула мощное наступление. Однако большая группировка немецких войск продолжала держаться за высоты правого берега реки. Центром этой группировки стал город Корсунь-Шевченковский.
В начале февраля советские войска замкнули кольцо вокруг вражеской группировки. В «котле» оказались около 10 дивизий и одна бригада. Всего в окружение попало около 80 тысяч гитлеровцев и много боевой техники.
Отличился Александр во время освобождения Черкасской области Украинской ССР. В своих воспоминаниях «Батальоны просят огня», опубликованных в районной газете «Слово» в 2000 году, Александр Гаврилович пишет:
«После окружения и уничтожения Корсунь-Шевченковской группировки создались благоприятные условия для дальнейшего наступления наших войск к Южному Бугу и выхода к Днестру. Первый батальон 15-й мотострелковой бригады, которым я командовал, в составе 16-го танкового корпуса овладел городом Умань и получил приказ в авангарде бригады преследовать отходящего противника и захватить переправу на реке Южный Буг в районе Джулинки».
Враг оказывал сильное сопротивление, часто переходил в контратаки. К тому же подтянуть резервы мешало бездорожье. Несмотря на то, что противник взорвал мост, 14 марта батальон, под бешеным огнем с воздуха и земли, на подручных средствах форсировал Южный Буг и захватил плацдарм.
Преследуя отходящего противника, батальон под командованием Рыбина, находясь в авангарде бригады, рано утром 17 марта вышел на окраину города Ямполя, где противник встретил их сильным артиллерийским и пулеметным огнем с противоположного берега Днестра. Завязался бой. Была поставлена задача форсировать Днестр и захватить плацдарм на молдавской земле. В 10 утра того же дня артиллерия и танки, открыв сильный огонь по огневым точкам противника, заставили его отступать. Батальон устремился вперёд и захватил понтонный мост через Днестр.
Указом Президиума Верховного Совета СССР от 13 сентября 1944 года за «мужество, отвагу и героизм, проявленные в борьбе с немецкими захватчиками» капитан Александр Рыбин был удостоен высокого звания Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда».
В наградном листе полковник Акимочкин писал:
«В оборонительных боях 14 февраля 1944 года у села Хижинцы батальон тов. Рыбина прочно удерживал занимаемый рубеж и не пропускал танки противника, стремившиеся пробиться на выручку окруженным дивизиям. При отражении атаки пехоты и танков противника его батальоном было подбито и сожжено 6 «тигров», а всего уничтожено 13 танков и более 100 гитлеровцев. В боях южнее села Журжинцы батальон под умелым командованием тов. Рыбина истребил 889 солдат и офицеров противника и 114 захвачены в плен. 9 марта в боях за город Умань батальон т. Рыбина обходом справа первым ворвался в город, быстро продвигался на юго-западную окраину. В результате смелого манёвра были захвачены большие трофеи.
14 .3.44 при отражении атаки пехоты и танков противника с тыла его батальоном уничтожено 79 немецких солдат и офицеров. с выходом на р. Южный Буг под огнем противника, на подручных средствах быстро переправил батальоны на правый берег и успешно развивал наступление.
17.3.44 в боях за г. Ямполь и переправу на реке Днестр его батальоном уничтожено 87 румын и 30 взято в плен. Выйдя на р. Днестр, быстро переправился на правый берег и продолжил преследовать румын, навязывая им бой, где захватил 50 румын в плен и обоз с продовольствием, боеприпасами и вооружением. В период боевых действий за успешное выполнение задания командования в батальоне награждено орденами и медалями 115 человек.
За образцовое выполнение задания командования и проявленные при этом героизм и мужество тов. Рыбин достоин присвоения звания Героя Советского Союза».
13 октября 1944 года награду Александру Рыбину вручил в Кремле лично председатель Президиума Верховного Совета СССР Михаил Иванович Калинин.
В конце 1944 года майор Рыбин был назначен заместителем командира 34-й гвардейской мотострелковой бригады. Свой боевой путь герой завершил в Польше, дошёл до Варшавы. В начале апреля Рыбина отозвали с Кюстринского плацдарма в Москву на учёбу в Бронетанковую академию имени Сталина. А через месяц пришла весть о Победе.
Вместе со своими друзьями-фронтовиками Александр Рыбин принял участие в первом параде Победы 24 июня 1945 года на Красной площади в Москве.
После окончания войны Рыбин продолжил службу в Советской Армии. После окончания академии был назначен командиром батальона 37-го механизированного полка 1-й механизированной дивизии 48 отделения мотоциклетного батальона 2-й гвардейской механизированной армии и проходил службу на территории Германии.
Затем был начальником военно-учебного центра Тамбовского областного комитета ДОСААФ, слушателем Центральных бронетанковых курсов усовершенствования офицерского состава, затем был направлен начальником военно-учебного центра Хмельницкого областного комитета ДОСААФ, где проходил службу до 1955 года. В 1955 году в звании подполковника Рыбин был уволен в запас.
С этого времени Александр Гаврилович Рыбин проживал и работал в родном селе Правые Ламки — был заместителем председателя колхоза «Большевик», директором Сосновского торфпредприятия. Неоднократно избирался секретарём партийной организации колхоза «Большевик», был бессменным депутатом Октябрьского сельского Совета до 1986 года. Скончался 25 февраля 2003 года. Похоронен в родном селе.
Был также награждён четырьмя орденами Красного Знамени, орденом Отечественной войны 1-й степени, двумя орденами Красной Звезды, медалями «За боевые заслуги», «За оборону Москвы», «За оборону Сталинграда», «За освобождение Варшавы», «За победу над Германией в Великой Отечественной войне 1941–1945 гг.».
Александру Гавриловичу Рыбину присвоено звание «Почётный гражданин Сосновского района». 21 февраля 2004 года на доме, в котором жил Александр Рыбин, односельчане установили мемориальную доску.
В 2005 году в Москве в издательском доме «Звонница-МГ» издана книга землячки героя — педагога Екатерины Лукиной «Праволамские ратоборцы», одна из глав которых посвящена Александру Рыбину.
Имя Героя Советского Союза Алексея Гавриловича Рыбина увековечено на Аллее Славы на мемориале в Сосновке.