证明:$(1)$如图①,延长$BP$至点$E,$使$PE=PC,$连接$CE$
∵$△ABC$是正三角形
∴$∠BAC=∠ACB= 60°,$$ BC= AC$
∵$A,$$B,$$P,$$C$四点共圆
∴$∠BAC+∠BPC=180°$
∵$∠BPC+∠EPC=180°$
∴$∠BAC=∠EPC=60°$
∵$PE=PC$
∴$△PCE$是等边三角形
∴$ PE= EC= PC,$$∠PCE = 60°$
又∵$∠BCE = 60°+∠BCP,$$∠ACP = 60° +∠BCP$
∴$∠BCE=∠ACP$
在$△BEC$和$△APC$中
$\begin{cases}EC= PC\\∠BCE=∠ACP\\BC=AC\end{cases}$
∴$△BEC≌△APC$
∴$ EB=PA$
∴$ PA= EB=PB+ PE=PB+PC $
$(2) $如图②,过点$B$作$BE⊥PB$交$PA$于点$E,$连接$OA,$$OB$
∵四边形$ABCD$是正方形
∴$∠AOB=∠ABC=90°,$$AB=CB$
∵$BE⊥PB$
∴$∠EBP=90°$
∴$∠1+∠EBC=∠EBC+∠2=90°$
∴$∠1=∠2$
∵$∠APB=\frac 12∠AOB=45°$
∴易得$BE=BP,$$PE=\sqrt {2}PB$
在$△ABE$和$△CBP$中
$\begin{cases}BE= BP\\∠1=∠2\\AB=CB\end{cases}$
∴$△ABE≌△CBP$
∴$ EA=PC$
∴$ PA= EA+PE=PC +\sqrt {2}PB$