解：$(1)$由题意，得$16÷20\%=80$，则这次抽样调查了$80$名学生
$(2)$设样本中选$“$阅读素养$”$的学生有$x$名，$ $选$“$数学素养$”$的学生有$y$名
由题意，得$\begin {cases}{x+y=80-16-12}\\{x-y=4}\end {cases}$，解得$\begin {cases}{x=28}\\{y=24}\end {cases}$
则样本中选$“$阅读素养$”$的学生有$28$名，选$“$数学素养$”$的学生有$24$名
