证明：$(1)$如图，延长$EA$至点$F$，使$AF=BE$，连接$ OF$
∵四边形$ABCD $是正方形
∴$∠ABC=∠BAD=90°$，$AC⊥BD$，
$∠ABO=∠BAO=45°$，$OB=OA$
∴$∠AOB=90°$
又$∠AEB=90°$，∴$∠AEB+∠AOB=180°$
∴$∠OBE+∠OAE= 360°-(∠AEB +∠AOB)=180°$
又$∠OAE+∠OAF=180°$，∴$∠OBE=∠OAF$
∴$△OBE≌△OAF(\mathrm {SAS})$
∴$OE=OF$，$∠BOE=∠AOF$
∵$∠BOE+ ∠AOE = 90°$
∴$∠AOF +∠AOE=90°$，即$∠EOF=90°$
∴$△EOF $是等腰直角三角形，即$∠OEF=∠OFE=45°$
∴$∠OEB=∠AEB-∠OEF=∠OEA=45°$
∴$EO$平分$∠AEB$
$(2)EA+EB= \sqrt {2}\ \mathrm {OE}$，证明如下：
由$(1)$得$ BE=AF$，$OE=OF$，$△EOF $是等腰直角三角形
∴由勾股定理，得$OE²+OF²=EF²$，即$2OE²=(EA+EB)²$
∴$EA+EB=\sqrt 2OE$
$(3)$∵四边形$ABCD $是正方形
∴$∠BAD=90°$，$AB=AD$
∵$GH//EF$，∴$∠AEB+∠H=180°$
又$∠AEB=90°$
∴$∠AEB =∠H = ∠BAD =90°$
∴$∠EAB+∠DAH=90°$，$∠EAB+∠ABE=90°$
∴$∠ABE=∠DAH$
∴$△ABE≌△DAH(\mathrm {AAS})$
∴$AE=DH$，$EB=HA$
同理得$△ABE≌△BCF$，$△ADH≌△DCG$，$△DCG≌△CBF$
∴$AE=BF=CG=DH$，$EB=FC=GD=HA$
∴$CG+FC=BF+EB=AE+HA=DH+GD$
即$FG=EF=EH=GH$
∴四边形$EFGH$为正方形
