解：$(1)$证明如下：连接$BD$，$BF$，$BP$
∵四边形$ABCD $和四边形$ BEFG $都是正方形
∴$AD=AB$，$∠DAC = ∠BAC = ∠CBD =∠FBG=45°$，即$∠DBF=90°$
又$AP=AP$，∴$△APD≌△APB(\mathrm {SAS})$
∴$BP=DP$，即$∠PDB=∠PBD$
∵$∠PDB+∠PFB=90°$，$∠PBD+∠PBF=90°$
∴$∠PBF=∠PFB$，即$PB=PF$
∴$PD=PF$，即$P $恰为$DF $的中点
$(2)△APE$是等腰直角三角形，理由如下：
∵四边形$ABCD$和四边形$BEFG $都是正方形
∴$∠CAE=∠PEA=45°$
∴$AP=EP$，$∠APE=90°$
∴$△APE$是等腰直角三角形
$(3)△APE$的形状不改变，理由如下：
延长$EP $至点$M$，使$MP=EP$，连接$MA$，$MD$
∵四边形$ABCD$和四边形$BEFG $都是正方形
∴$AB=AD$，$AD//BC$，$∠BAD=∠ABC=∠EBG=90°$，$EB=EF$，$BG//EF$
∵$P $为$DF $的中点，∴$PD=PF$
∵$∠DPM=∠FPE$，∴$△MPD≌△EPF(\mathrm {SAS})$
∴$MD=EF$，$∠DMP=∠FEP$
∴$EB=MD$，$DM//EF$，即$BG//DM$
设$DF $交$BC$于点$H$，交$ BG $于点$ N$，则$∠MDN=∠DNB $
∵$AD//BC$，∴$∠ADN=∠BHN$
∵$∠BHN+∠BNH+∠HBN = 180°$
∴$∠ADM=∠ADN+∠MDN =∠BHN+∠BNH =180°-∠HBN$
∵$∠ABE=360°-∠ABC-∠EBG-∠HBN = 180°-∠HBN$
∴$∠ADM= ∠ABE$，∴$△ADM≌△ABE(\mathrm {SAS})$
∴$AM=AE$，$∠DAM=∠BAE$
∴$AP⊥ME$，即$∠APE=90°$
∵$∠DAM+∠MAB=90°$，∴$∠BAE+∠MAB=90°$，即$∠MAE=90°$
∴$∠MAP=∠PAE=45°$，即$∠PEA=90°-∠PAE=45°$
∴$∠PAE=∠PEA$
∴$AP=EP$，即$△APE$是等腰直角三角形
