$解:(1)由a²+b²+c²=10a+24b+26c-338整理得(a-5)²+(b-12)²+(c-13)²=0.$
$所以a-5=0,b-12=0,c-13=0,即a=5,b=12,c=13.$
$又因为a²+b²=13²,$
$所以 a²+b²=c².所$
$以△ABC为直角三角形,且∠C=90°.$
$(2)由(1)得△ABC为直角三角形,∠C=90°, a=5,b=12,c=13.$
$设最长边上的高为h.$
$因为S=\frac{1}{2}ab=\frac{1}{2}ch,$
$所以h=\frac{60}{13},$
$则△ABC最长边上的高为\frac{60}{13}.$