Родился в городе Владимире в 1856 году. Его отец увлекался литературой, писал пьесы, был эрудированным человеком, также являлся магистром словесности и музыкантом-любителем. Мать играла на фортепиано, неплохо рисовала. В семье Танееевых было шестеро детей, трое из которых умерли. Сергей был младших ребенком из тех, что остались. Танеевы жилы скромно, но старались изо всех сил дать детям достойное образование и хорошо их воспитать. К ним нередко захаживали известные деятели искусства.
В 1866 году Танеевы перебрались в Москву. Сергей поступил там в гимназию, а заодно и в Московскую консерваторию. Девять лет Сергей учился в консерватории, где сначала посещал класс фортепиано, изучал теорию музыки у Э. Лангера. Рубинштейн высоко отзывался о юном Танееве. Сергей закончил консерваторию с золотой медалью. После этого он отправился в Париж. 4-5 часов в день он посвящал игре на фортепиано, а всё остальное время гулял по городу. Бывал он часто в гостях у Полины Виардо, там же он познакомился с Тургеневым, с писателем Флобером, композитором Гуно. Был в гостях он и у Сен-Санса, где исполнил Первый фортепианный концерт Чайковского. Кстати, в Париже Танеев продолжал переписываться с самим Чайковским. Во французской столице юный музыкант провел восемь месяцев.
В 1878 году он начал преподавать в Московской консерватории. Преподавательская деятельность очень увлекла Сергея. Он работал в консерватории вплоть до 1905 года. С 1881 года он стал профессором консерватории, а пост директора этого заведения занял в 1885 году и пробыл на нем до 1889 г. Танеев сдружился со Львом Толстым. Их роднила любовь к шахматам. После смерти же Чайковского Танеев счел возможным завершить его вокальный концерт «Ромео и Джульетта», фортепианный концерт, пьесу «Экспромт» и некоторые другие сочинения.
В 1905 году Танеев ушел из консерватории, протестуя против их методов руководства. Несмотря на то, что студенты и профессора просили его вернуться, он ушел навсегда. Однако Танеев продолжал обучать учеников частным образом. Концерт приносили Танееву неплохие гонорары, а потому он не брал плату с учеников за занятия. Его жена Пелагея вела абсолютно всё хозяйство. И называла она своего супруга «малым дитям».
Танеев являлся одним из основателей и преподавателей «Народной консерватории». Сергея также знали как энтузиаста-фольклориста. Он сделал обработки 27-ми украинских песен, гармонизовал несколько малорусских песен. В 1883 году он путешествовал по Грузии, после чего написал исследование «О музыке горских татар». Танеев развивал много музыкальных теорий, он создал поистине уникальный труд «Подвижный контрапункт строгого письма». Продолжением работы было «Учение о каноне». К концу своей жизни он продолжал интенсивно работать. В 1915 году, после похода на похороны А. Скрябина, Танеев сильно заболел. Болезнь дала осложнение на сердце, поэтому врач порекомендовал Сергею уехать в более спокойное место. Пианист перебрался в деревню Дютьково, где умер 6 июня 1915 года, не оправившись от простуды.