Карой Немет родился 14 декабря 1922 года в селе Пак, Венгрия. Трудовую деятельность начал рабочим в пищевой промышленности. В 1945 году вступил в Венгерскую коммунистическую партию. После окончания Высшей партшколы, с 1954 года являлся секретарем, а затем первым секретарем партийной ячейки медье Чонград.
В 1957 году Немет стал членом Центрального Комитета Венгерской социалистической рабочей партии. В период с 1960 по 1965 года занимал должность заведующего сельскохозяйственным отделом ЦК партии. С ноября 1970 года являлся членом Политбюро, с марта 1974 года - секретарем ЦК Венгерской социалистической рабочей партии.
Одновременно Карой Немет находился на посту первого секретаря Будапештского городского комитета ВСРП. На протяжении тридцати лет входил в венгерский парламент и являлся членом Президиума Венгерской Народной Республики. В условиях осложнявшейся экономической ситуации 28 марта 1985 года выдвинут на должность заместителя Генерального секретаря ЦК ВСРП Яноша Кадара как сторонник либерализации политического курса.
Немет 25 июня 1987 года сменил Пала Лошонци на посту председателя Президиума Венгерской Народной Республики, однако пробыл на этой должности чуть более года, и 29 июня 1988 года покинул свой пост.
Умер Карой Немет 12 марта 2008 года в возрасте восьмидесяти пяти лет.