Джеймс Грэй родился 14 апреля 1969 года в городе Нью-Йорк, США. Вырос в еврейской семье университетского профессора и его жены. Дедушка и бабушка Грэя иммигрировали в США из украинского посёлка Старый Острополь, родители бабушки были убиты во время погрома Белой армии. Джеймс рос в Куинсе, постоянно прогуливал уроки, посещая кинотеатры.

Он учился в школе, расположенной при университете Южной Калифорнии, позже там же получил высшее образование. В университете занимался двойной специализацией: изучением кинопроизводства и кинокритики. Там Грэй впервые увидел картины, потрясшие его - «Мальчика» Нагисы Осимы и несколько работ мастера японского кинематографа Кэндзи Мидзогути. Талант Грэя открыл британский продюсер Пол Уэбстер, посмотревший его курсовую короткометражку «Ковбои и ангелы».

В 1994 году Джеймс Грэй поставил свою первую полнометражную работу - мрачную криминальную драму «Маленькая Одесса», удостоившуюся «Серебряного льва» на Венецианском кинофестивале. За столь успешный дебют и написание сценария к этой картине Грэй выдвигался на премию «Независимый дух».

Спустя четыре года он снял свой наиболее популярный фильм - триллер «Ярды» с Марком Уолбергом и Хоакином Фениксом в главных ролях. Лента вышла на экраны только в 2000 году по причине того, что руководство студии «Miramax Films», в частности, Харви Вайнштейн, сочло её слишком мрачной и скучной. Вайнштейну было нужно, чтобы она дошла до «Оскара», а в этом он уверен не был.

Следующие два проекта Грэя - «Хозяева ночи» и «Любовники» - вышли на экраны в 2007 и 2008 годах соответственно. В 2013 году уже четвертая работа Грэя была отобрана в основной конкурс Каннского смотра - историческая драма «Иммигрантка».

Грэй проживает в Лос-Анджелесе с женой Александрой Диксон, документальным режиссёром, и тремя детьми. Поддерживает близкие дружеские отношения с постановщиками своего поколения - Дэвидом Финчером и Полом Томасом Андерсоном.