Джеймс Оливер Кромвелл родился 27 января 1940 года в городе Лос-Анджелес, штат Калифорния, США. Сын актера и режиссера Джона Кромвелла и актрисы Кэй Джонс. Детство Джеймса прошло в Манхэттане. Образование получил в частной школе The Hill School, затем учился в колледже Миддлбери и университете Карнеги-Меллона в Питсбурге, где изучал архитектуру. Однако, все же стал актером.
Как и родители, Джеймс устроился в театр, где был задействован в различных постановках начиная от Шекспира и заканчивая экспериментальными пьесами. В 1974 году актеру впервые досталась хорошая роль - он сыграл теннисного инструктора главного героя по имени Терри в сериале «Досье детектива Рокфорда». Через несколько недель он приступил к съемкам в сериале «Все в семье» в образе второстепенного персонажа Стретча Каннингема.
В 1975 году он исполнил свою первую главную роль на телевидении, как Билл Льюис в короткометражном фильме «Hot l Baltimore», появился в сериале «M*A*S*H» / «Чертова служба в гостипате Маш» в роли капитана Лео Бардонаро в эпизоде 6 сезона «Last Laugh», а через год снялся в детективе Нила Саймона «Ужин с убийством». В 1980 году был приглашенной звездой в двух частях серии «Лора Инглз Уайлдер» долгоиграющего телесериала «Маленький домик в прериях», сыграв Харви Миллера.
На протяжении всей своей карьеры Кромвель добился хороших успехов на телевидении. Его роль газетного магната Уильяма Рэндольфа Херста в телевизионном фильме «RKO 281» принесла ему номинацию на премию «Эмми» за выдающегося актера второго плана в телевизионном фильме. В следующем году он получил свою вторую премию «Эмми» за роль епископа Лионеля Стюарта в медицинском драматическом сериале «NBC ER». Был номинирован на четыре премии Гильдии киноактеров, две из которых были за лучший ансамбль в драматическом сериале в 2005 и 2006 годах. В 2007 году получил премию короля Видора Мемориала от Международного кинофестиваля в Сан-Луис-Обиспо за свои художественные достижения в кино.
Фильмография артиста весьма разнообразна. Самыми популярными фильмами с его участием считаются «Зеленая миля», «Спирит: Душа прерий», «Артист», «Секреты Лос-Анджелеса», «Джейн Остин», «Королева», «Все или ничего», «Я, робот», «Бэйб: Четвероногий малыш», «Звездный путь: Первый контакт», «Космические ковбои», «Цена страха», «Потерянный в снегах», «Человек паук 3: Враг в отражении», «Одинокое место для смерти», «Суррогаты», «День памяти», «Обещание», «Маршалл», «Мир Юрского периода 2» и многие другие.