Будущий обладатель Нобелевской премии появился на свет 27 августа 1874 года в Кельне, Германия. Его отец был поставщиком газа и сантехники. Его дядя Роберт Бош был известным инженером и изобретателем, который создал первую коммерчески используемую высоковольтную свечу зажигания. После окончания средней школы Карл некоторое время работал слесарем в механическом цехе. С 1894 по 1896 год обучался металлургии и машиностроению в университете Берлина (техническом). В 1896 году начал изучать химию в университете Лейпцига и закончил у профессора Вислиценуса в 1898 году. Темой его работы была органическая химия.
В апреле 1899 года Бош начал работать химиком начального уровня в BASF, Людвигсхафен, крупнейшей в современной Германии химической и красильной компании. Во время своей работы там он активно участвовал в развитии индустрии синтетического индиго под руководством доктора Рудольфа Книча. С помощью цианидов и нитридов металлов попытался решить проблему фиксации азота и в 1907 году запустил пилотную установку по производству цианида бария. Через год Карл Бош взялся за масштабный проект по разработке синтеза аммиака в промышленных масштабах. К 1913 году проект был успешным, и в Оппау был открыт первый завод. В 1917 году рядом с Мерзебургом был открыт другой завод, где ученый включил синтез метанола и гидрирование нефти в производственную программу. Основная работа Карла Боша заключалась в адаптации лабораторного процесса синтеза аммиака для коммерческого производства. Он заменил осмий и уран (катализаторы Габера) чистым железом и построил безопасные доменные печи с высоким давлением для создания синтеза. Им был разработан процесс выработки водорода в промышленности путем пропускания пара и воды над катализатором при высоких температурах. Процесс стал наиболее часто используемым коммерческим способом фиксации азота и увеличил сельскохозяйственное производство за счет поставок удобрений по всему миру. Он также сыграл роль в Зеленой революции.
В 1902 году связал себя узами брака с Эльзой Шильбах, и у пары родились сын и дочь.
Бош был страстным коллекционером бабочек, жуков, минералов и драгоценных камней.
Собранные им метеориты и другие образцы минералов были переданы Йельскому университету. В конечном итоге они были куплены Смитсоновским институтом. Астероид 7414 Bosch был назван в честь Карла Боша. Химик всегда был критиком нацистской политики, и это стало причиной, по которой он постепенно был снят со своих высоких постов после прихода к власти Адольфа Гитлера. Ученый страдал депрессией и алкоголизмом. Он покинул наш мир 26 апреля 1940 года. Место смерти — город Гейдельберг.