Объясняю:
1. Надо проверить, что полученные вектора ортогональны и имеют длину единица. |f(e_1)|^2 = |1|^2 + |i|^2 = 2, значит, преобразование уже не унитарно.
2. Надо проверить, что сохранились все скалярные произведения (скалярное произведение векторов v1=(x_1,y_1) и v2=(x_2,y_2) определяется как x_1*x_2 + y_1*y_2 и обозначается <v1,v2>).
<(3,4),(1,3)> = 3*1 + 4*3 = 15,
<(0,5),(3,1)> = 0*3 + 5*1 = 5, значит, преобразование уже не ортогонально.
3. Такие задачи слишком сложны, надо знать что такое собственные значения и определитель матрицы, а также уметь находить обратную матрицу. Но данна задача решается легко: дело в том, что матрица A не ортогональна, так как вектор e_1 она переводит в вектор (1,1/2,-1), длина которого больше 1.