Родился в семье рабочих. В 1964 окончил Ленинградский технологический институт. Позднее, в 1970-е годы, заочно окончил Ленинградский инженерно-экономический институт. В 1968-1976 работал на Гатчинском электромеханическом заводе «Буревестник», где прошел путь от заместителем начальника цеха до начальника планово-производственного отдела, был секретарем парткома. В 1976-78 заведующий промышленно-транспортным отделом Гатчинского горкома КПСС, в 1978-85 директор гатчинского завода «Буревестник». В 1985-1987 первый секретарь Гатчинского горкома КПСС.
В марте 1990 был избран народным депутатом РСФСР и Леноблсовета.
Во время Августовского путча в августе 1991 Яров, заочно включенный в состав Ленинградского Комитета по чрезвычайному положению, отмежевался от путчистов и выступил в поддержку российских властей.
В ноябре 1991 был избран одним из заместителей Председателя Верховного Совета, на этом посту курировал вопросы организации работы органов власти на местах, взаимоотношений с республиками в составе России и с республиками бывшего Союза.
В 1992-93 занимался вопросами стабилизации межнациональных отношений в Северной Осетии, а также вообще на Северном Кавказе. В январе 1993 назначен вице-премьером в кабинет Черномырдина. Непосредственно курировал деятельность федеральных органов исполнительной власти и организаций при правительстве, относящихся к «социальному блоку»: Министерство охраны окружающей среды и природных ресурсов, Министерство науки, Министерство образования, Министерство культуры, Министерство социальной защиты, Министерство труда, Госкомвуз, Госкомсанэпидемнадзор и др.
В сентябре 1993 одобрил указ Президента Ельцина № 1400 о роспуске парламента.
В июле 1996 освобожден от должности заместителя председателя правительства РФ и назначен заместителем главы администрации Президента РФ, с марта 1997 первый заместитель руководителя администрации Президента. C1999 исполнительный секретарь исполнительного совета СНГ.
Июль 2004 — август 2004 — советник главы Роспрома Бориса Алёшина.
С августа 2004 — директор ФГУП «Северное проектно-конструкторское бюро» (специализируется на проектировании боевых кораблей) в Санкт-Петербурге.
Действительный государственный советник Российской Федерации I класса.