解:$(3)$当点$A$在点$B$的左侧时
由题意知$3+0.5t-(-1+2t)=3$,解得$t=\frac {2}{3}$
故点$A$对应的数是$-1+\frac {4}{3}=\frac {1}{3}$
当点$A$在点$B$的右侧时
$-1+2t-(3+0.5t)=3$,解得$t=\frac {14}{3}$
故点$A$表示的数是$-1+\frac {28}{3}=\frac {25}{3} $
综上所述,点$A$所对应的数是$\frac {1}{3}$或$\frac {25}{3}$