Билли Джоэл родился 9 мая 1949 года в городе Бронкс, США.Появился на свет в небогатой еврейской семье. В детстве ему довелось участвовать в уличных боях, поэтому он принял решение стать боксёром. Но проведя 22 боя, он отказался от спорта из-за сломанного носа.
В 16 лет Билли вступил в дворовую команду The Echoes, затем играл в группе The Hassles и в дуэте Attila. Жена его товарища по дуэту ушла к Джоэлу, и дуэт распался.
Джоэл играл в ночных клубах, а в ноябре 1971 года выпустил первый сольный альбом. Песня «Captain Jack» стала очень популярной, и в 1973 году вышел очередной альбом музыканта «Piano Man». Одноименная песня стала визитной карточкой Джоэла и вошла в список 500 самых лучших песен всех времён.
Выпустив следующий альбом «Streetlife Serenade» в 1974 году, Билли удалось перебраться в Нью-Йорк. Очередной хитовый альбом певца вышел в 1977 году – его тираж составил 7 млн. экземпляров. В 1980 году Билли Джоэл в течение 6 недель удерживал верхнюю строку чартов продаж с альбомом «Glass Houses». Далее Джоэл выпускает еще несколько успешных альбомов, снимает видеоклипы.
В 1987 году Билли Джоэл первым из западных музыкантов дает концерты в Советском Союзе, однако они были не слишком успешными. В 1989 году он в последний раз поднимался на верхнюю строчку хит-парадов. После этого Джоэл переключился на сочинение классической музыки. В 2001 году он выпустил свой последний студийный альбом Fantasies & Delusions, составленный исключительно из классических композиций, где Джоэл выступает только в роли композитора.
В 2006 году после большого перерыва, музыкант совершил мировое турне в поддержку бокс-сета «My Lives», в который вошли 4 диска с ранее неиздававшимися композициями и демозаписями.
Билли Джоэл неоднократно становился лауреатом премии «Грэмми», его имя внесено в Зал славы рок-н-ролла, он является одним из наиболее продаваемых артистов в США за всю историю страны.
Музыкант три раза был женат, но все его браки закончились разводами. У него есть дочь (от второго брака) - Алекса Рэй Джоэл, последовавшая по стопам отца и также ставшая певицей.