Ничего, кроме знания решения квадратного уравнения через дискриминант и небольшой сообразительности тут не нужно. Что не так? Выражаем (х2-х+1)2 через у, решаем полученное квадратное уравнение относительно у, подставляем решение в исходное, оно сильно упрощается. Ответ 0 или 1