Мы проходим оскорбления, туда сюды и все такое, а отсталый является оскорблением?

По сути, да, если высказано без каких-либо оснований.

В случае, если это диагноз, поставленный врачом, то оскорблением это вряд ли будет считаться (но со стороны этики все равно осуждается)

Во втором случае попросту такое же оскорбление достоинства другого человека, как ненормативная лексика и т. д.