$解:(3) 因为∠ABC=90°,AC=10,$
$BC=8,CP=5,$
$所以若△POC为等腰三角形,$
$则分类讨论如下:$
$①当OC=CP 时,OC=5;$
$②当OP=CP=5时,$
$过点P作PE⊥BC于点E,$
$则OE=CE=\frac {1}{2}\ \mathrm {OC},∠OEP=90°.$
$由(2),得 EP=3,$
$所以OE= \sqrt{OP²-EP} =4,$
$所以OC=2OE=8;$
$③当OC=OP时,$
$过点O作OF⊥CP于点F,$
$则CF=PF= \frac {1}{2}\ \mathrm {CP}= \frac {5}{2} ,$
$∠OFC=90°.$
$因为cos ∠OCF= \frac {CF}{OC} = \frac {BC}{AC} ,$
$所以 \frac {\frac {5}{2}}{OC} = \frac {8}{10} ,$
$所以OC=\frac {25}{8} .$
$综上所述,OC的长为5或8或 \frac {25}{8} .$