Герман Холлерит родился 29 февраля 1860 года в городе Буффало, США Вырос в семье немецких иммигрантов. В 1879 году он окончил Горную школу при Колумбийском университете и стал ассистентом профессора У.Трубриджа сначала в Колумбийском Университете, а затем и в Бюро по переписи населения, сотрудником которого также являлся Трубриджа.
С 1882 года Холлерит преподает в Массачусетском Технологическом институте, а в 1884 году перешел на работу в Патентное ведомство США.
В историю Герман Холлерит вошел как создатель электрической табулирующей системы. В 1888 году он создает особое устройство - табулятор. По принципу действия эта система была очень проста - данные, отмеченные в картах дырочками штампом, наподобие пишущей машинки, снимались машиной и переносились на счетный механизм. Каждое положение дырочки обозначало определенное значение, которое суммировалось на числовых часах.
Это изобретение имело значительный успех при переписях населения США в 1890 и 1900 годах. В 1896 году Герман Холлерит создал компанию TMC по сбыту своих табулирующих машин.
В 1911 году он продал свою компанию, и она вошла в промышленный конгломерат C-T-R, созданный предпринимателем Чарльзом Флинтом. В 1924 году C-T-R была переименована в IBM. Холлерит же, продав свою компанию, зажил обеспеченной жизнью. Он покупал автомобили, лодки, купил поместье в штате Виржиния, где занимался сельским хозяйством и разводил скот.
Умер Герман Холлерит 17 ноября 1929 года у себя в поместье.