Александр Яковлевич Гомельский родился 18 января 1928 года в Кронштадте.

В 1945 году поступил в Высшую школу тренеров при институте физической культуры, спорта и здоровья им. П. Ф. Лесгафта в Ленинграде (ныне Санкт-Петербург), с 1949 по 1952 год учился в Военном институте физкультуры, по окончании которого получил специальность "тренер — преподаватель по спортивным играм". Во время учебы выступал за ленинградские баскетбольные команды "СКИФ" (1945-1948) и СКА (1949-1953).

Первой командой, с которой Александр Гомельский начал работать в качестве тренера, стал женский баскетбольный клуб "Спартак" (Ленинград). Проработав в клубе с 1949 по 1952 год, в 1953 году Гомельский стал главным тренером рижского СКА. С его приходом клуб заметно усилил свои позиции в национальных и европейских турнирах. С 1955 по 1961 год подопечные Гомельского пять раз становились чемпионами Советского Союза, а также выигрывали Спартакиаду народов СССР. В 1958 году первый Кубок Европейских чемпионов также был завоеван рижской командой, которая затем выигрывала турнир в 1959 и 1960 году, а 1961 году стала финалистом соревнований. Латвийские баскетболисты впервые вошли в состав сборной СССР, сыграв с сильнейшей командой США и завоевав серебро Олимпийских игр в Мельбурне в 1956 году.

В 1966 году Александр Гомельский был переведен на работу в московский баскетбольный клуб ЦСКА. В должности главного тренера ЦСКА Гомельский проработал до 1988 года. С армейским клубом наставник выиграл все возможные титулы. 17 раз под его началом ЦСКА завоевывал чемпионат СССР, трижды становился обладателем Кубка СССР, в 1969 и 1971 годах выиграл Кубок чемпионов.

В период с 1962 по 1988 год (с перерывом с 1970 по 1976 год) Гомельский возглавлял сборную команду СССР по баскетболу. Под его началом сборная команда страны стала восьмикратным чемпионом Европы, чемпионом мира в Уругвае в 1967 году и в Колумбии в 1982 году, олимпийским чемпионом в Сеуле в 1988 году.

Также Гомельский тренировал баскетбольные команды Испании, Франции, США. В 1991 — 1992 году Александр Гомельский являлся председателем Федерации баскетбола России, в 1992 году — Олимпийским атташе на Олимпийских играх в Барселоне. В декабре 1997 года стал президентом баскетбольного клуба ЦСКА.

В 1998 году врачи обнаружили у Гомельского раковую опухоль, после чего он отправился на лечение в Хьюстон (США), где прошел химиотерапию. В 2004 году Гомельский вновь был вынужден обратиться к врачам из-за лимфомы. После интенсивного курса лечения в США Александр Гомельский вернулся в Москву, работал над книгой.

16 августа 2005 года он скончался.

Был похоронен на Ваганьковском кладбище в Москве.

Александр Гомельский — профессор, кандидат педагогических наук. Помимо тренерской деятельности был популярным спортивным телекомментатором. Он вел репортажи о баскетбольных матчах чемпионатов России, Еврокубков, Национальной Баскетбольной Ассоциации (НБА).

Гомельский — заслуженный тренер СССР (1956 год), заслуженный тренер Литвы (1982 год), заслуженный работник физической культуры России (1993 год), судья международной категории, четырежды (1967, 1977, 1982, 1988 годы) был признан лучшим тренером страны. За заслуги в развитии армейского спорта и баскетбола награжден орденами Трудового Красного Знамени, Красной Звезды, Дружбы Народов, двумя орденами "Знак Почета", многими медалями.

В 1981 году Гомельский стал членом Зала славы Международной федерации баскетбола, а в 1995 году был включен в Музей Баскетбольной Славы "Всех Звезд" в американском Спрингфилде. 16 января 1998 года за выдающиеся спортивные достижения Александр Гомельский был удостоен Олимпийского Ордена Славы, который ему вручил президент Международного Олимпийского Комитета Хуан Антонио Самаранч.

С 2006 года в России ежегодно проходит турнир по баскетболу на Кубок Александра Гомельского.

Гомельский написал множество книг, которые вошли в антологию мировой баскетбольной мысли. В их числе "С мячом по странам" (1960 год), "Будни баскетбола" (1964 год), "Управление командой в баскетболе" (1976 год), "Баскетбол завоевывает планету" (1980 год), "Управление командой в баскетболе" (1985 год), "Центровые" (1988 год), "Тактика и техника" (Греция, 1990 год), "Библия баскетбола" (1994 год), "Баскетбол. Секреты мастера" (1997 год).

Брат Александра — Евгений Гомельский, заслуженный тренер СССР и РСФСР, много лет возглавлял команду "Динамо" Москва, зарубежные клубы и женскую сборную страны. В качестве главного тренера женской сборной СНГ стал олимпийским чемпионом в Барселоне в 1992 году. Президент баскетбольного клуба "Динамо" (Москва). Сын Александра Гомельского Владимир — мастер спорта по баскетболу, телекомментатор, продюсер спортивных программ. Два других его сына также занимаются спортом: Александр — водным поло. Кирилл — плаванием.