$(1)$证明:∵四边形$ABCD$是矩形
∴$∠A=∠D=90°,$$AB=CD=4,$$AD=BC=3$
由折叠的性质,得$∠A=∠E=∠D=90°$
在$∆P DO$和$∆G EO$中
$\begin {cases}{∠D=∠E}\\{OD=OE}\\{∠DOP=∠EOG}\end {cases}$
∴$∆P DO≌∆G EO(\mathrm {ASA})$
∴$DP=EG$
$(2)$解:由折叠的性质,得$AP=EP,$$AB=BE$
$ $由$(1)$可知$∆P DO≌△GEO$
∴$OP=OG,$$OD=OE$
∴$OD+OG=OE+OP,$即$DG=PE$
∴$DG=PE=P A$
$ $设$AP=x,$则$P D=EG=3-x,$$DG=x$
∴$BG=BE-EG=4-(3-x)=1+x,$
$CG=DC-DG=4-x$
$ $在$Rt∆BCG $中,根据勾股定理得$BC^2+CG^2=BG^2$
$ $即$3^2+(4-x)^2=(1+x)^2$
$ $解得$x=2.4$
∴$AP=2.4$