С вторжением в Советский Союз Шелленберг был назначен руководителем VI управления — службы внешней разведки, основной задачей которого был сбор разведывательной информации, анализ официальных экономических и теоретических данных, публикуемых в СССР, а также проведение диверсионно-саботажных акций. В частности, VI управление занималось операцией «Цеппелин», заключавшейся в массовом забросе на парашютах групп специально отобранных и подготовленных русских военнопленных в глубокий тыл СССР. Шелленберг был против беспощадной политики уничтожения мирного населения и обращения с ним, как с низшей расой, оккупированным территориям СССР предлагал предоставить автономное управление, о чем неоднократно писал в своих докладах высшему руководству рейха.
Многолетнее соперничество Шелленберга с абвером закончилось тем, что в 1944 армейская разведка адмирала Канариса была ликвидирована по приказу Гитлера, обвинявшего в военных неудачах последних лет шефа абвера. В результате многие подразделения абвера были присоединены к VI управлению, и Шелленберг взял на себя руководство военной разведкой, создав таким образом объединенную разведывательную службу.
Начиная с 1942, Шелленберг пытался вплоть до самого конца войны склонить Гиммлера к идее сепаратного мира с западными державами, для чего организовал в Швейцарии и Швеции соответствующие переговоры через нейтральных посредников. 30 апреля 1945 года Шелленберг был смещен Кальтенбруннером со всех занимаемых постов, однако новый глава немецкого государства гросс-адмирал Дениц подтвердил полномочия Шелленберга на ведение переговоров. День капитуляции Германии застал Шелленберга в Швеции. Союзные державы потребовали его выдачи, и Шелленберг возвратился в Германию. На Нюрнбергском процессе над главными военными преступниками Шелленберг выступал в качестве свидетеля. Сам он предстал перед американским военным трибуналом в 1948. За участие в преступных организациях, каковыми были признаны СС и СД, также за казни без суда и следствия русских военнопленных — участников операции «Цеппелин», суд приговорил его к шести годам тюремного заключения с исчислением срока начиная с июня 1945. По состоянию здоровья он был досрочно освобожден в 1951. Вскоре он скончался в Италии.