Сергей Коваленко родился 11 августа 1947 года в городе Порт-Артур, Китайская Народная Республика. Вырос в семье профессионального военного. Его наотрез отказывались принимать в секцию баскетбола из-за излишней худобы. С детства имея генеральский характер, упорно шел к своей мечте, профессионально играть в баскетбол.

В Грузинском городе Тбилиси, куда переехала семья Коваленко, школьный учитель физической культуры отправил его в детскую спортивную школу к тренеру Михаилу Ермолаевичу Кекелидзе. За работоспособностью тренер разглядел в юноше стремление к самосовершенствованию, научил его основам баскетбола, заставил забыть о несоразмерностях роста и комплекции. К 18 годам Сергей имел рост 215 сантиметров и стал одним из самых высокорослых центровых страны.

Студентом Грузинского технического университета в 1965 году пришел в игравшую во второй Лиге Чемпионата СССР команду ВУЗа, выступал в ней три года и в 1968 году помог команде вернуться в высшую лигу и занять десятое место в Чемпионате СССР. В составе юношеской сборной СССР под руководством Сергея Башкина дважды становился Чемпионом Европы. Сила баскетболиста заключалась в интеллекте, быстрого и безошибочного чтения игры предвидеть ее развитие, правильно выбрать позицию и избежать схватки. Недостаток устойчивости, вызванный врожденным дефектом стопы, никогда не мешал ему поставить нормальный заслон и выполнить приличный блок-шот.

В составе национальной сборной СССР, возглавляемой Александром Гомельским, Сергей в 1968 году стал бронзовым призером Олимпиады в городе Мехико. В следующем году, после смерти отца, вместе с матерью переехал в город Киев, Украина. В Киевском БК «Строитель» спортсмен быстро освоился, став одним из основных игроков, и баскетбольный мир вдруг с удивлением открыл для себя атлетичного, интеллигентного с умным взглядом мастера, ставшего украшением отечественного баскетбола. За 6 лет, прожитых в городе Киев, успел дважды завоевать бронзу Чемпионата СССР, в составе сборной победить на Чемпионате Европы и стать Олимпийским Чемпионом.

На Чемпионате Мира в 1970 году основной центровой сборной Владимир Андреев получил травму спины, Сергей вынужденно взял всю нагрузку на себя, но с одним центровым победить стало невозможно. Затем состоялась знаменитая победа на Олимпийском турнире в городе Мюнхен 1972 года. За эту Олимпийскую победу Коваленко получил звание мастера спорта международного класса. 

В конце сезона 1974/1975 года, после инцидента с новым тренером киевского «Строителя», по ходатайству спортивного комитета Украины получил «пожизненную дисквалификацию», остался без команды и вынужденно искал новую точку опоры в городе Москва, у Александра Гомельского. Дисквалификацию сняли, и с сентября 1975 года лейтенант Сергей Коваленко выступал в команде «ЦСКА». В годы своей карьеры вместе с клубом пять раз становился Чемпионом СССР, в составе сборной города Москва выиграл Спартакиаду народов СССР. 

Профессионально Сергей играл в баскетбол пятнадцать лет. Закончив карьеру игрока в 1980 году, вернулся в город Киев, стал тренером, работал в киевском «СКА». Впоследствии работал в строительной фирме, где прошел путь от охранника до заместителя Директора. Владел фирмой по оптовой продаже строительных материалов. 

Сергей Иванович Коваленко скончался 18 ноября 2004 года в городе Киев.

В ноябре 2012 года киевский БК «Будiвельник» отдал дань уважения своей легенде: на матче украинской суперлиги между «Будiвельником» и «Азовмашем» под сводами арены киевского Дворца Спорта состоялась торжественная церемония поднятия баннера в виде майки с номером баскетболиста «15».

За заслуги в спортивной деятельности получил медаль «За трудовое отличие».