объясните, почему ни одно отрицательное число не может быть корнем уравнения 3x^2-17x+9=0.

Потому что это квадратное уравнение.

Как считать, ищешь дискриминант по формуле, а потому в зависимости от того, какой дискриминант, считаешь корни. Чаще всего их 2. Если надо, то в комментарии могу тебе решение написать!