Эккерт получил образование в Высшем электротехническом училище при Пенсильванском университете в Филадельфии, где в 1941 получил степень бакалавра, а в 1943 — магистра. Еще будучи студентом, Эккерт вместе со своим профессором Дж. Мокли сделал несколько полезных разработок в области компьютерного оборудования.
В 1946 по заказу правительства они построили цифровую вычислительную машину, которую назвали «Эниак» (ENIAC — Electronic Numerical Integrator and Computer). В этом примитивном с виду компьютере находилась электрическая схема, по существу применяющаяся во всех современных высокоскоростных компьютерах. Вместо электромеханических реле в ней в качестве внутреннего запоминающего устройства применялись электронные лампы, что позволило в 1000 раз повысить быстродействие машины по сравнению с «Марк-1». Машина оперировала двоичными числами. ENIAC использовался в вооруженных силах США для решения оборонных задач.
Тогда же они начали работу над новой машиной — «Эдвак» (EDVAC — Electronic Discret Variable Automatic Computer — электронный автоматический вычислитель с дискретными переменными), программа которой должна была храниться в памяти компьютера. В качестве внутренней памяти предполагалось использовать ртутные трубки, применявшиеся в радиолокации. Идеи по созданию новой машины были опубликованы Дж. фон Нейманом, которому впоследствии и были приписаны.
В 1948 Эккерт и Мокли, оставив университет, основали собственную компьютерную фирму, которая представила свою новую модель — «Бинак» (BINAC — Binary Automatic Computer), в которой для хранения информации уже применялась магнитная лента в отличие от перфокарт.
Третья модель Эккерта и Мокли, представленная в 1951 году, — «Унивак-1» (UNIVAC I — Universal Automatic Computer), была предназначена для решения разнообразных задач бизнеса. «Унивак-1» мог свободно обрабатывать как цифровую, так и символьную информацию. Первый экземпляр был передан в Бюро переписи населения США. Затем было создано много разных моделей UNIVAC, которые нашли применение в различных сферах деятельности. Таким образом, UNIVAC стал первым серийным компьютером, положившим начало компьютерному буму.
В 1948-66 Эккерт получил 85 патентов, главным образом за вклад в новости IT-индустрии.
В 1950 компанию Эккерта приобрела фирма «Ремингтон Рэнд» (Remington Rand, Inc.), которая в 1955, в свою очередь, слилась со «Сперри Рэнд Корпорейшн» (Sperry Rand Corp., позднее Unisys Corp.).
В 1967 Эккерт был избран членом Национальной технической Академии, в 1969 награжден Национальной медалью за вклад в науку.