Окончил Школу-студию МХАТ. В 1954-1959 в Центральном детском театре, затем два года — в Театре им. Маяковского, в 1962-1973 в Московском театре им. Моссовета. Одна из лучших театральных ролей Анофриева — Василий Теркин в спектакле театра им.Моссовета.
В кино актер дебютировал в 1955 в фильме «Секрет красоты», где сыграл гротесковую роль стиляги Эдика. Снимался в ролях обычных людей, «простаков», чаще в ролях в второго плана. Всего сыграл более 40 киноролей, в том числе в фильмах «В добрый час!» (1957), «Простая история» (1958), «Девушка с гитарой» (1958), «Алые паруса» (1960), «Коллеги» (1963), «Сказка о потерянном времени» (1963), «Друзья и годы» (1965), «Автомобиль, скрипка и собака Клякса» (1974), «Инкогнито из Петербурга» (1977), «Будьте моим мужем» (1981), «Спокойствие отменяется» (1983), «Человек с бульвара Капуцинов» (1989), «Захочу — полюблю» (1990), «Московские каникулы» (1995), «Маша и звери» (1995).
Кроме театра и кино, актер много работает на эстраде, телевидении, на радио. Обладая прекрасными вокальными данными, Анофриев записал песни для многих фильмов и спектаклей, нередко за несколько персонажей («Бременские музыканты»). Именно в его исполнении многие песни получили всенародную популярность. Анофриев сам сочиняет музыку, пишет песни и слова к ним, пародии, эпиграммы. Автор музыки и песен ко многим фильмам и спектаклям. Удивительный талант импровизатора позволяет Анофриеву создавать самые разнообразные «звуковые» образы в мультфильмах («Как львенок и черепаха пели песню», 1970, и многие др.).