Система уравнений:

x+y=3

xy=10

Решить по теореме обратной теореме Виета

Рассмотрим уравнение t^2-3t+10=0; оно корней не имеет, так как дискриминант <0. Значит, Ваша система не имеет решений, так как если бы она имела решение (x, y), то и x, и y были бы решениями уравнения, а оно решений не имеет