Воистину так. Можно кого то не любить. Можно даже стоять в полной оппозиции кому-либо, как правило, речь идет о политическом направлении:
Например: "антикоммунист", "антифашист" , "антиглобалист" - слова, характеризующие активную деятельную оппозицию политическому или социальному явлению.
"Антисемит" -- это уже расплывчатее, т.к. нельза быть в оппозиции этническому явлению. Тем не менее -- данное понятие предполагает, что его носитель находится в оппозиции не всем семитам, а этническим евреям. Каким образом можно находиться в оппозиции целому народу? Не знаю. Т.к. мне кажется, что данный термин выдуман людьми такого типа, как Балта или КоКо : они есть во все времена и во все времена их обуревают смутные, растрёпанные, истеричные чувства, выразить которые нормальными словами они не в состоянии.
"Атеист", "Агностик" -- понятие, характеризующее антагонистическую позицию: отрицание бога, отрицание гностицизма итд.
Но -- слышал ли кто нибудь о "богофобах", "фашофобах", "глобалофобах", "коммунофобах"? Нет. Потому что абсурд. Однако "юдофоб", "русофоб", "гомофоб" -- это точно такой же абсурд, если применяются в дискуссии, а не в психиатрии. Поскольку, как Вы справедливо заметили, характеризуют не позицию, а болезнь. Привнесение "-фобства" в дискуссию -- находка современной либерастии. "-фобством" можно ошельмовать собеседника, представив его больным на голову. Как "ксенофоба", "клаустрофоба" итд. Навешивая противнику пропаганды гомосексуализма ярлык "гомофоба" его огульно исключают из дискуссии "нормальных людей". Позицию "анти-" заменяют позицией "-фобство" -- и готов аргумент.