解:$(3)$存在,连接$CD$
∵$∠ACB=90°$,$∠A= 30°$,$BC=2$,∴$∠ABC=90°-∠A=60°$,$AB=2BC=4$
在$Rt△ABC$中,由勾股定理,得$AC= \sqrt {AB²-BC^2}=2 \sqrt {3}$
∵$D$是$AB$的中点,∴$CD=BD=\frac {1}{2}AB=2$
当以$B$,$C$,$E$,$D$四点为顶点的四边形是平行四边形时,分类讨论如下:
$①$若$BD$是该平行四边形的边,则点$E$在点$C$左侧,$∠CED=∠ABC=60°$,$CE//BD$
∴$∠ECP=∠A=30°$
由折叠的性质,得$PE=AP=t$,$∠PED=∠A=30°$
∴$∠PEC=∠PED+∠CED=90°$,∴$PC=2PE=2t$
∴$AC=AP+PC=3t$,∴$3t=2\sqrt {3}$,解得$t=\frac {2\sqrt {3}}{3}$
$②$若$BD$是该平行四边形的对角线,则点$E$在$BD$下方
∵$BC=CD$,∴四边形$BCDE$是菱形,∴$CD=DE$
∵$∠BCD=∠ABC=60°$
∴$∠CED=∠ECD=\frac {1}{2}∠BCD=30°$,$∠ACD=∠ACB-∠BCD=30°$
∴$∠ECD=∠ACD$,$∠CED=∠A$
∵$CD=CD$,∴$△ECD≌△ACD(\mathrm {AAS})$
∴此时点$P $与点$C$重合,∴$t=2\sqrt {3}$
综上,$t $的值为$\frac {2\sqrt {3}}{3}$或$2\sqrt {3}$