证明:$(1)$连接$BE,$
∵四边形$ABCD$是正方形,
$∴∠BAE=90°,$
$∴BE$是圆$O$的直径,
$∵∠BAF+∠EAF=90°,$$∠EAF=∠EBF,$$∠FBG=∠FAB,$
$∴∠FBG+∠EBF=90°,$
$∴∠OBG=90°,$
故$BG$是圆$O$的切线.
$(2)$解:如图,连接$OA,$$OF,$
∵四边形$ABCD$是正方形,$BE$是圆的直径,
$∴∠EFD=90°,$$∠FDE=45°,$
$∴∠FED=45°,$
$∴∠AOF=90°,$
$∵OA=OF=1,$
$∴AF^2=AO^2+FO^2=1+1=2,$
$∴AF=\sqrt {2},$$AF=-\sqrt {2}($舍去).