解:$(1)①(-1)*(-1)=[(-1)^2+(-1)^2]=2$
$②(-1)*[0*(-2)]=(-1)*(-2)^2$
$=(-1)*(+4)=-[(-1)^2+(+4)^2]=-17$
$(3)$存在,理由如下:
∵$(m-1)*(n+2)=-2$
∴$m-1<0$或$n+2<0$
即$-[(m-1)²+(n+2)²]=-2$
∴$(m-1)²+(n+2)²=2$
∵$m$,$n$是整数
∴$m=0$,$n=-1$或$m=2$,$n=-1$
或$m=2$,$n=-3$或$m=0$,$n=-3$
$①$当$m=0$,$n=-1$时,$m-1<0$,$n+2>0$,符合题意
∴$m-n=0-(-1)=1$;
$②$当$m=2$,$n=-1$时
$m-1>0$,$n+2>0$,不符合题意;
$③$当$m=2$,$n=-3$时,$m-1>0$,$n+2<0$,符合题意
∴$m-n=2-(-3)=5$;
$④$当$m=0$,$n=-3$时
$m-1<0$,$n+2<0$,不符合题意
综上所述,当$m=0$,$n=-1$时,$m-n=1$;
当$m=2$,$n=-3$时,$m-n=5$