А чем так страшна школа? Я уже тут многие ветки прочитала, и поняла, что часто проблемы начинаются со школой. Но с чем связано?

В первую очередь это связано с возрастной психологией ребёнка.В дошкольное время для ребёнка авторитетом являются родители, они стоят на первом месте, в начальной школе авторитетом становится учитель, она на первом, родители - на втором.У ребёнка неосознанно открывается связь учитель - его язык.В этом возрасте дети начинают подсознательно свою учительницу во всём копировать, в том числе и язык. Немаловажно и то, что в начальной школе дети учатся высказывать мысли, строить предложения, писать, читать.
В вашей семье хоть и выполняются роли правильно - папа на своём, мама на своём, но между собой вы с мужем разговариваете на немецком , на том, что и в школе/садике. Поэтому ребёнок впитывает этот язык с пелёнок.

если он говорит с русскими гостями, то не так злится, как со мной.

Это связано с отношением между вами - ребёнок-родители. Моя дочь тоже со мной сердится, когда нужное слово не может подобрать, а с чужими людьми нет.Она ведь знает, что чужие люди ей не сделают замечание, с чужими она может схитрить и перейти на немецкий язык, с чужими всё проще.
Я по этой причине не преподаю ей музыку. Потому что я тоже с чужими детьми не злюсь, а с собственной дочерью повышаю голос.