3cos^2x-sinx*cosx+3cos^2x=-1

2 * sin 2*x + sin x * cos x - 3 * cos 2*x = 2 * 2 * sin x * cos x + sin x * cos x -

3 * (cos²x - sin²x) = 5 * sin x * cos x + 3 * cos²x - 3 * sin²x = 0

Поскольку cos x ≠ 0, то, разделив на cos²x, получаем

3 * tg²x - 5 * tg x - 3 = 0

tg x = (5 ± √61) / 6

x = arctg ((5 ± √61) / 6) + π * n