Алжан Жармухамедов родился 2 октября 1944 года в поселке Таваксай, Республика Узбекистан. В десятом классе новый школьный учитель физической культуры познакомил с баскетболом. Окончив школу в 1961 году, Алжан пошел работать на Чирчикский завод «Узбекхиммаш», где стал сначала учеником, затем шлифовщиком III разряда.

Заводской инструктор физической культуры Роман Салетдинов приметил двухметрового парня и уговорил тренироваться и выступать за заводскую баскетбольную команду. Парень увлекся баскетболом и быстро прогрессировал. Однако на производстве случилось несчастье, станком резанул по пальцам правой руки.

С 1963 по 1967 года учился в Узбекском государственном институте физической культуры в городе Ташкент. Во время учебы Алжан много тренировался. Результатом усилий стало его приглашение в ташкентский баскетбольный клуб «СКА», игравший в Первой Лиге всесоюзного Чемпионата, затем в сборную Республики, следом и в сборную СССР. На Чемпионате Европы-1967 года в городе Хельсинки, Финляндия, одержал победу в составе сборной.

Из-за отказа переходить в «ЦСКА» Главный тренер клуба и советской сборной Александр Яковлевич Гомельский не взял спортсмена на Олимпиаду-1968 года в городе Мехико. На Чемпионат Европы-1969 года баскетболист также не попал. Однако в том же году вошел в состав «ЦСКА». Жармухамедов отлично убегал в отрыв и завершал контратаку, обладал филигранной точности броском со средних дистанций. За свою невероятную гибкость и способность проскользнуть сквозь заслоны соперников получил прозвище «Туркестанский змий».

Уже в следующем 1970 году «Жар», как дружески звали его партнеры по команде, впервые стал Чемпионом СССР и бронзовым медалистом Чемпионата Мира. На следующий год в составе «ЦСКА» Жармухамедов завоевал Кубок европейских Чемпионов. Триумф советской баскетбольной сборной в олимпийском Мюнхене-1972 года стал украшением спортивной карьеры баскетболист и его товарищей по команде.

Весной 1973 года после турне по США до возвращения домой сборная СССР приняла участие в первом Всемирном фестивале баскетбола в Республике Перу. На Шереметьевской таможне у Алжана обнаружили пистолет. Санкции обрушились мгновенно, спортсмена лишили звания Заслуженного мастера спорта, исключили из состава сборной и запретили играть за «ЦСКА». Позднее все подозрения сняли.

На Олимпиаду-1976 года в городе Монреаль в 1975 году Владимир Петрович Кондрашин пригласил спортсмена вновь выступать за сборную СССР. Белградский Чемпионат Европы 1975 года принес Алжану серебряную медаль.

Алжан Мусурбекович завершил спортивную карьеру в 1980 году в воинском звании капитана десятикратного Чемпиона СССР. Затем, в течение двух лет, работал тренером в спортивных клубах армии Группы советских войск в Германии, городов Алма-Ата и Ташкент.

Назначенный Главным тренером мужской сборной России Сергей Белов в 1994 году пригласил его в команду вторым тренером. Совместными усилиями привели сборную России к серебряным медалям Чемпионата Мира-1994 года. 

В 2002 году стал тренировать мужскую команду Московского гуманитарного университета. С 2007 года тренировал еще и женскую команду ВУЗа. Со своим старшим сыном Владиславом, Алжан Жармухамедов основал в городе Москва некоммерческий детско-юношеский баскетбольный клуб «Лаурус».

В сентября 2011 года в городе Алма-Ата Республики Казахстан в спортивном зале «КазАСТ» в торжественной обстановке открыли баскетбольную Академию имени Алжана Жармухамедова. 

За заслуги в спортивной деятельности удостоен Почетных званий Заслуженный мастер спорта СССР, Заслуженный тренер России. Награжден орденами «Почета», «Знак Почета». Является Почетным профессором Казахской академии спорта и туризма.