Учился с 1933 в Москве, с 1936 в Центральной музыкальной школе в классе А. И. Ямпольского, у него же окончил в 1948 Московскую консерваторию, в 1953 — аспирантуру. Победитель первого Международного конкурса скрипачей имени королевы Елизаветы в Брюсселе (1951). С 1944 — солист Московской филармонии. С 1952 до конца дней преподавал в Московской консерватории (профессор с 1963). Среди учеников Когана — Н. Л. Яшвили, И. Х. Груберт, В. И. Жук и другие известные скрипачи.
Коган был одним из самых ярких представителей советской скрипичной школы, представляя в ней «романтически-виртуозное» крыло. Он всегда давал много концертов и часто, ещё с консерваторских лет, гастролировал зарубежом. В репертуаре его были представлены, примерно в равных пропорциях, все основные позиции скрипичного репертуара, в том числе и современная музыка: Когану посвящены Концерт-рапсодия А. И. Хачатуряна, скрипичные концерты Т. Н. Хренникова, К. Караева, М. С. Вайнберга, А. Жоливе; для него начал создавать свой третий (неосуществлённый) концерт Д. Д. Шостакович. Коган был непревзойдённым исполнителем сочинений Н. Паганини (в 1982 озвучил скрипку великого гения в фильме «Никколо Паганини»), а также виртуозных миниатюр Г. Венявского, П. Сарасате, Ф. Крейслера и разного рода эффектных скрипичных транскрипций.
Похоронен на Новодевичьем кладбище. Сын Павел Леонидович Коган — дирижёр и художественный руководитель Московского государственного академического симфонического оркестра. Внук Дмитрий Павлович Коган — скрипач, солист Московской государственной академической филармонии.
немножко