Родился Леонид в Днепропетровске. Его отец был фотографом. Интерес к музыке у Леонида появился в три года, он уже в таком возрасте пел «Дубинушку». Родители принялись учить свое чадо музыке. Сначала он играл на фортепиано, затем на скрипке, которая позже стала его любимым инструментом. В возрасте семи лет Леонид учился в музыкальном училище Днепропетровска и демонстрировал удивительные способности. На областном конкурсе юных исполнителей-скрипачей в Харькове Леонид победил, когда ему было девять лет. Одаренного мальчика отправили в Москву в специальную детскую группу при Московской консерватории. На сцену Коган впервые вышел в 1935 году. Непрерывная череда концертов началась с того момента.
Перед началом войны Коган дебютировал с оркестром. Концерт проходил в Большом зале Московской консерватории. Коган исполнял концерт для скрипки Брамса. Солистом Московской филармонии Коган стал в 1944 году. Он продолжил занятия в консерватории после войны, а в 1947 году его удостоили высшей награды на художественном конкурсе в Праге. Коган поступил в аспирантуру и уже в 1951 году завоевал первую премию на Международном конкурсе имени королевы Елизаветы в Брюсселе. На родину Леонид вернулся уже с мировым именем. Он начал гастроли по стране. Гастроли по миру началась в 1953 году.
Женился Коган на Елизавете Гилельс, скрипачке и сестре выдающегося пианиста Эмиля Гилельса в 1948 году. В 1955 году Коган едет с гастролями во Францию и исполняет там Первый концерт Паганини. Его интерпретацию концерта приняли как сенсацию. Через год он едет в Латинскую Америку, в 1958 году успешно выступает в США. В этом же году дает концерт в Японии, в 1962 он добирается до Австралии и Новой Зеландии. Он был один из тех немногих музыкантов, который объехал с концертами почти весь мир за весьма короткий срок. График его был очень плотный, но он находил время дать концерт в СССР.
Он также был председателем жюри Международного конкурса скрипачей имени П. Чайковского. Он вел занятия со студентами в консерватории в Москве. Одной из вершин творчества Когана стала трактовка произведений Паганини. Первый концерт Паганини в авторской редакции он исполнил в 1949-50 гг. В одном концерте он сыграл все 24 каприса великого Паганини. Множество композиторов писало специально для Леонида. Его мастерство игры на скрипке постоянно оттачивалось, а стиль менялся. Чтобы не остановить творческий рост – он начал преподавать. Кроме ведения класса скрипки в консерватории, он учил своих детей. Умер великий скрипач в 1982 году, когда ехал в Ярославль. Он был полон идей, планировал гастроли, но эти идеи уже нельзя было реализовать, а планы – осуществить.