解:$(1) $∵在$Rt \triangle ABC $中,$ ∠C=90°$,$ a=5$,$ b=4$,
∴$c=\sqrt {a^2+b^2}=\sqrt {5^2+4^2}=\sqrt {41}$;
$(2) $当边长为$ 5 $的边是斜边时, 第三边的长度为:$ \sqrt {5^2-4^2}=3$;
当边长为$ 5 $的边是直角边时, 第三边的长度为:$ \sqrt {5^2+4^2}=\sqrt {41}$;
综上所述,$ $第三边的长度为$ 3 $或$ \sqrt {41}.$