证明：$(1)$∵$PA$与$\odot O$相切于点$A，$
∴$PA\perp OA.$
∵$PO$平分$∠APD，$$OB\perp PD，$
∴$OB = OA，$
∴$PB$是$\odot O$的切线$.$
$(2)$根据题意，得$OA = OB = 4$
.∵$OC = 5，$
∴$AC = OA + OC = 4 + 5 = 9.$
∵$PA\perp OA，$$OB\perp PD，$
∴$∠PAO=∠PBO=∠OBC = 90°，$
∴在$Rt\triangle OBC$中，$BC=\sqrt {OC^2-OB^2} = 3.$
在$Rt\triangle PAO$和$Rt\triangle PBO$中，
$OA = OB，$
$OP = OP，$
∴$Rt\triangle PAO\cong Rt\triangle PBO，$
∴$PA = PB.$
∵在$Rt\triangle PAC$中，$PA^2+AC^2=PC^2，$
∴$PA^2+9^2=(PA + 3)^2，$
$ \begin {aligned}PA^2+81&=PA^2+6PA + 9\\6PA&=72\\PA&=12\end {aligned}$
∴$PA$的长是$12.$
