Родился он в небольшом городе под Магдебургом. Его отец был отставным офицером, а потому неудивительно, что Карл поступил на военную службу в 12 лет, а через год он уже был участником битвы с французами. В 1800 году он поступил в военную академию в Берлине. Он стал изучать военные труды различных полководцев, начал знакомиться с историей Пруссии. В 1806 году во время боя под Прецлау он попал в плен. Целый год он провел там, размышляя над теорией ведения войны.
По возвращению в Пруссию он стал частным наставником кронпринца, а также главой департамента в военном министерстве. Тогда он написал книгу, которая сейчас известна под названием «Принципы ведения войны». Карл также предсказал, что Наполеон потерпит неудачу, отправившись в Россию. В 1812 году Карл решил не поддерживать военный союз Пруссии и Франции. Он не хотел служить Наполеону, а потому перешел на службу к россиянам. После того, как был создан прусско-русский союз, Карл продолжил служить в прусской армии. В 1818 году он получил чин генерал-майора. Также он стал начальником Военной коллегии в Берлине. Около 10 лет он работал над реорганизацией армии Пруссии. Работал он и над созданием книги «О Войне».
В 1830 году он наблюдал за Польской революцией. Примерно в это же время он заболел холерой и, вернувшись в Бреслау в 1831 году. Он так и не завершил работу над своей рукописью. Его вдова стала систематизировать записи. Следующие пять лет он опубликовывала десять томов его работ. Первые три тома сейчас известны как трактат «О войне». К началу двадцатого века его трактат изучали офицеры во многих армиях. Карл не один раз подчеркивал, что теория, которая должна быть эффективной, обязана основываться на фактах. Цели, которые кажется легкодоступными, могут оказаться труднодостижимыми или нереальными.