$解：(1)因为 |a^2+b^2-8|+(a-b-1)^2=0，$
$所以a^2+b^2-8=0，a-b-1=0，$
$所以a^2+b^2=8，a-b=1，所以(a-b)^2=1，$
$所以a^2-2ab+b^2=1，所以8-2ab=1，所以ab=\frac{7}{2}.$
$ \begin{aligned}(2)原式&=(2a-b)^2-1-(a^2+ab-2b^2) \\ &=4a^2-4ab+b^2-1-a^2-ab+2b^2 \\ &=3a^2+3b^2-5ab-1 \\ &=3(a^2+b^2)-5ab-1. \\ \end{aligned}$
$当a^2+b^2=8，ab=\frac{7}{2}时，$
$原式=3×8-5× \frac{7}{2}-1=\frac{11}{2}.$
