Николай Александрович Ярошенко родился 1 декабря 1846 года в Полтаве. Отец его - Александр Михайлович, высокообразованный человек, был военным, дослужившимся до чипа генерал-майора. Мать - Любовь Васильевна - дочь отставного поручика. Склонность к рисованию у мальчика проявилась рано, но по семейной традиции отец хотел, чтобы сын сделал военную карьеру и девяти лет отдал его в Полтавский кадетский корпус.
Сохранившиеся рисунки позволяют судить, что под руководством своего учителя И. К. Зайцева, юный художник занимался серьезно и небезуспешно. После окончания кадетского корпуса, в 1863 году, Ярошенко переезжает в Петербург и поступает в Павловское военное училище, откуда его переводят в Михайловское артиллерийское училище.
Военнослужащий по образованию и службе (до 1892) Ярошенко все свое свободное время посвящал искусству. В качестве вольнослушателя учился в Академии художеств (1867-74). В 1876 стал одним из руководителей Товарищества передвижных художественных выставок, постоянно участвовал в выставках передвижников, причем только в них. Создал выразительные портреты-типы, воплощающие в художественных образах социальные и этические идеалы своего времени («Студент», 1881, Третьяковская галерея; «Курсистка», 1883, Калужский областной художественный музей), а также портреты деятелей русской культуры, в которых сумел передать не только портретное сходство, но и благородный духовный облик (П. А. Стрепетовой, 1884, Третьяковская галерея; Г. И. Успенского, 1984, Екатеринбургская картинная галерея; Н. Н. Ге, 1890, Третьяковская галерея; и др.). Одним из первых среди русских художников создал образ рабочего («Кочегар», 1878, Третьяковская галерея). Писал также жанровые картины («Заключенный», 1878; «Всюду жизнь», 1888; обе — Третьяковская галерея) и пейзажи, в основном посвященные кавказской природе. В 1962 в Кисловодске был открыт художественный музей Ярошенко.
За отличную службу в 1892 году Ярошенко производят в генерал-майоры, тогда же состояние здоровья вынуждает его переехать в Кисловодск. В следующем году он выходит в отставку, продолжая заниматься общественной деятельностью, постоянно выставляясь на передвижных выставках. Художник был полон творческих планов, но 25 июня 1898 года (старый стиль) скоропостижно скончался от паралича сердца.