Учился у Росцелина и Гильома де Шампо в Париже. Еще во время обучения, проявив необычайные способности в области философии и теологии, он открыл собственную школу в Париже. Слава Абеляра быстро распространялась, и вскоре его приглашают в школу Нотр-Дам, которая стала впоследствии Французским университетом, где философ в 1114-1118 возглавлял кафедру. Примерно к этому же времени относится история трагической любви Абеляра и Элоизы, описанная им самим в "Истории моих бедствий". Заключенный втайне брак не был признан опекуном Элоизы, который оскопил Абеляра и насильно заставил Элоизу постричься. Вскоре и Абеляр удалился от мира. Сохранилась переписка влюбленных, а также стихи Абеляра, посвященные Элоизе. Став монахом, Абеляр поселился в монастыре Сен-Дени, где продолжил ученые занятия.
Особый интерес у него вызывала проблема универсалий. Абеляр занял промежуточную между реализмом и номинализмом позицию, получившую название "концептуализма". Он рассматривал универсалии как умственные концепции, которые не существуют отдельно от предметов, но которые, в то же время, не просто произвольные имена. "Универсалия", такая, например как "лошадь", реальна, это не просто слово, однако она не может существовать отдельно от реальных лошадей. В понимании Абеляра "универсалии" предшествуют конкретным вещам. Бог имел идею лошади, прежде чем начал творение, и эта идея присутствует в каждой конкретной лошади. Эта точка зрения стала преобладающей и завершила спор "номиналистов" и "реалистов", пока Оккам не предложил новый взгляд на универсалии.
В 1122 Абеляр пишет свой главный труд "Да и Нет", в котором разрешить проблемы, связанных с местом и ролью логики и рацио в исследовании божественных истин. Используемый им метод приводит к сомнениям, которые только и могут, по мысли Абеляра, помочь человеку прийти к истине. Сомнение признается философом началом всякого знания. Абеляр стремится понять то, во что верит. Этот подход был прямо противоположен методу Ансельма Кентерберийского - "верую, чтобы понять", признанному официальной церковью, поэтому вызвал резкое неприятие у многих видных клириков. Одним из самых серьезных противников Абеляра в этом вопросе стал Бернар Клервоский. Полемика между мыслителями привела к осуждению идей Абеляра в 1140 на соборе в Сансе. Направляясь с апелляцией к папе, Абеляр делает по пути остановку в монастыре, где его и настигает смерть.