Будущий скульптор родился в простой крестьянской семье в 1651 году. Его ранние годы проходили в Вене и Зальцбурге. В 1675 году он уехал в Италию, где провел 14 лет. Бальтазар был сильно впечатлен искусством Бернини. Учился ремеслу он у Вольфа Вейсенкирхнера и Джованни Баттиста Фоджини. Среди ранних работ Пермозера особое место занимают скульптуры из слоновой кости, которые необычайно тонко исполнены.
В 1689 году Бальтазар стал придворным скульптором в Дрездене, где работал по оформлению Цвингера. Скульптор был мастером широкого эмоционального диапазона – это видно хотя бы в его работе «Отчаяние проклятого». С годами же искусство Бальтазара приобрело черты патетики, напряженности, стало нарочито усложненным. С 1718 года по 1721 год он создавал двухметровую группу «Апофеоз принца Евгения Савойского». Скульптора предназначалась для Бельведера.
В поздний период своего творчества Бальтазар занялся развитием народной традиции резьбы по дереву и кости. К концу жизни Пермозер исполнил свои наиболее прославленные произведения, а именно: двухметровые статуи из дерева, на которых изображены св. Августин и св. Амвросий. В Цвингере же произведения Бальтазара совсем другие, но тоже выдающиеся. Атланты, которых создал скульптор, гармонично связаны с архитектурой павильонов. Его нимфы же полны таинственной прелести.
В отличие от Андреаса Шлютера – архитектурой Бальтазар не занимался. Стоит отметить, что Пермозер работал над портретными бюстами. Его ученики, ставшие известными скульпторами, работали в таком же стиле, что и Пермозер. Бальтазер Пермозер – крупнейшая фигура в австрийской скульптуре на рубеже XVII – XVIII веков. Он скончался в 1732 году. Могила ваятеля находится на Старом католическом кладбище в Дрездене.