解:$(1)$乘坐$26$路公交车的时间$t=34 \mathrm {\mathrm {min}}-6 \mathrm {\mathrm {min}}- 4 \mathrm {\mathrm {min}}=24 \mathrm {\mathrm {min}}=0.4\ \mathrm {h}$
$(2)$小明步行的时间$t'=6 \mathrm {\mathrm {min}}+4 \mathrm {\mathrm {min}}=10 \mathrm {\mathrm {min}}=600\ \mathrm {s},$根据速度公式得,小明步行的总路程$s'=v't'=1\ \mathrm {m/s}×600\ \mathrm {s}=600\ \mathrm {m}=0.6\ \mathrm {km}$
$(3)$乘公交车的路程$s=3.9\ \mathrm {km}-0.6\ \mathrm {km}=3.3\ \mathrm {km},$平均车速$v=\frac {s}{t}=\frac {3.3\ \mathrm {km}}{0.4\ \mathrm {h}}=8.25\ \mathrm {km/h}$