解：$(1)$过点$D$作$DM⊥y$轴于点$M$，则$∠DMA=∠AOB=90°$
∴$∠DAM+∠ADM=90°$
∵四边形$ABCD$是正方形，∴$DA=AB$，$∠BAD=90°$
∴$∠DAM+∠BAO=180°-∠BAD=90°$
∴$∠ADM=∠BAO$，∴$△DMA≌△AOB(\mathrm {AAS})$
∴$MD=OA$，$MA=OB$
∵点$A$的坐标为$(0$，$3)$，点$B$的坐标为$(1$，$0)$
∴$OA=3$，$OB=1$
∴$MD=OA=3$，$MA=OB=1$
∴$OM=OA+MA=4$，∴点$D$的坐标为$(3$，$4)$
∵双曲线$y=\frac {k}{x}$经过点$D$，∴$4=\frac {k}{3}$，解得$k=12$
∴双曲线的函数表达式为$y=\frac {12}{x}$
设直线$DE$的函数表达式为$y=mx+n$
把$B(1$，$0)$，$D(3$，$4)$分别代入，得$\begin {cases}{m+n=0}\\{3m+n=4}\end {cases}$，解得$\begin {cases}{m=2}\\{n=-2}\end {cases}$
∴直线$DE$的函数表达式为$y=2x-2$
$(2)$如图，连接$AC$，交$BD$于点$N$，连接$CE$，过点$E$作$EF⊥DC$，
交$DC$的延长线于点$F$
在$Rt△AOB$中，$∠AOB=90°$，$OA=3$，$OB=1$
由勾股定理，得$AB= \sqrt {OA²+OB²}= \sqrt {10}$
∵四边形$ABCD$是正方形
∴$∠ABC=90°$，$AC⊥BD$，$AN=CN=\frac {1}{2}\ \mathrm {AC}$，
$DC=BC=AB=\sqrt {10}$
在$Rt△ABC $中，由勾股定理，得$AC=\sqrt {AB²+BC²}=2\sqrt {5}$
∴$CN=\sqrt {5}$
∵反比例函数$y=\frac {12}{x}$的图像经过点$E(-2$，$a)$
∴$a=\frac {12}{-2}=-6$，∴点$E$的坐标为$(-2$，$-6)$
∵点$D$的坐标为$ (3$，$4)$，∴$ DE =\sqrt {(-2-3)²+(-6-4)^2}=5\sqrt {5}$
∵$S_{△CDE}=\frac {1}{2}\ \mathrm {DC} · EF=\frac {1}{2}\ \mathrm {DE} · CN$
∴$EF=\frac {DE · CN}{DC} \frac {5\sqrt {10}}{2}$
则点$E$到直线$DC$的距离为$\frac {5\sqrt {10}}{2}$
$(3)$存在，点$P $的坐标为$(13$，$0)$
