$解:(1) 原式= 5a²-(3a-2a+3 + 4a²)$
$= 5a²-(a +3+ 4a²)$
$= 5a²-a-3-4a²$
$=a²-a- 3.$
$当a=-2时,原式= (-2)²-(-2)-3= 4+2-3= 3.$
$(2)因为a²-b²=a²-ab+ab-b²= (a²-ab)+(ab-b²),$
$所以把a²-ab= 8,ab-b²=-4代入,得a²-b²= (a²-ab)+(ab-b²)=8+(-4)=4.$
$因为a²- 2ab+b²=a²-ab-ab+b²= (a²-ab)-(ab-b²),$
$所以把a²-ab= 8,ab-b²=-4代入,得a²-2ab+b² = (a²-ab)- (ab-b²)=8-(-4) - 8+4= 12.$