Почему коммуникативными могут быть только квадратные матрицы?

Потому что умножение определено только для таких пар матриц, у которых число столбцов первой равно числу строк второй. Соответственно, если матрицы не квадратные, то не то, что возможность их коммутативности, а даже умножение их в обратном порядке не существует.