Будущий писатель получил при рождении имя Соломон Наумович Рабинович 18 февраля 1859 года в Переяславе, Российская Империя (современная Украина). Он появился на свет в богатой семье торговца лесом Менахема-Нухема Рабиновича и Хаи-Эстер. Семья переехала в соседний еврейский город Вороньков, когда он был молод, но неудавшаяся коммерческая сделка вынудила семью вернуться в Переяслав. Его детство было еще больше омрачено смертью матери из-за эпидемии холеры, когда ему было всего 13 лет. Он начал писать в 15 лет, завершив свою еврейскую версию «Робинзона Крузо». Юноша с отличием окончил местную русскую среднюю школу в 1876 году и в течение следующих трех лет стал частным репетитором Ольги Лоевой.
В 1879 году он стал местным корреспондентом еврейского еженедельника «Ха-Цфира». В 1881 и 1882 годах публиковал свои статьи о еврейском образовании. Хотя Шолом-Алейхем хотел писать на русском или иврите, позже переключился на идиш, проанализировав его лучшую доступность для еврейских масс. Первый роман на идише «Два камняя» вышел в 1883 году (под псевдонимом «Шолом-Алейхем» — приветствие на иврите). Лишь в 1899 году начал зарабатывать на писательстве, выпустив издание на идиш, и написал некоторые из своих самых известных произведений, таких как монологи, праздничные рассказы, детские рассказы и сказки. Его праздничные рассказы были основаны на традиционных еврейских праздниках и часто публиковались на их кануне. Он перешел в театр в надежде удовлетворить свои финансовые потребности и поставил свою первую драму в 1903 году в Варшаве, Польша.
Писатель женился на Ольге Лоевой, дочери богатого помещика, в 1883 году и переехал в Белую Церковь. Пара унаследовала земельный участок после смерти отца Ольги в 1885 году и переехала в Киев в 1887 году. Однако в 1890 году писатель потерял все свое состояние на фондовом рынке и стал банкротом. У пары было шестеро детей: Эрнестина (1884 г.), Ляля (1887 г.), Эмма (1888 г.), Михаил (1889 г.), Мария (1892 г.) и Норман (1901 г.). В то время как семья переехала в Нью-Йорк в 1914 году, его сын Михаил, заболевший туберкулезом, остался в Швейцарии со своей сестрой Эммой и умер в 1915 году. Сам писатель заболел туберкулезом и диабетом и умер 13 мая 1916 года в Нью-Йорке. На его похоронах присутствовало около 100000 скорбящих — это одни из крупнейших похорон в истории Нью-Йорка. Его рассказы о Тевье были адаптированы в театральных постановках 1960-х годов в США, Израиле и Советской России. В честь автора воздвигнуты два памятника (в Киеве и Москве). Израиль, Советский Союз, Румыния и Украина выпустили почтовые марки в память об этом знаменитом драматурге. Помимо письма на иврите, идише и русском языках, он хорошо знал другие языки, включая украинский и польский. Еврейские и американские журналисты прозвали его «еврейским Марком Твеном» по прибытии в Нью-Йорк в 1906 году.