解:$(1)$根据概率公式可知从袋中摸出一个球是黄球的概率为
$\frac {5}{5+13+22}=\frac {5}{40}=\frac {1}{8}$
$(2)$设从袋中取出$x$个黑球,则放入$x$个黄球,故袋中的黄球数量变为$(5+x)$个,
根据“从袋中摸出一个球是黄球的概率不小于$\frac {1}{3}”$可得
$\frac {5+x}{5+x+13-x+22}≥\frac {1}{3}$
解得$x≥8\frac {1}{3}$
$x$的最小正整数解为$9,$故至少取出了$9$个黑球.