Первое ур-ие умножаешь на 2, вычитаешь второе, получаешь квадратичный многочлен равный нулю. Его разлагаешь на множители, получаешь (3а-2b)*(а-2b)=0 далее, после небольшой возни, подставив а=2b во второе уравнение, получаешь два решения: b=1, a=2 и b=-1, a=-2. Ветка 3a-2b=0 решений не даёт