解:$(1)\frac {2x+1}{x-1}=\frac {2(x-1)+3}{x-1}=2+\frac 3{x-1}$
$(2)$由$(1)$得$\frac {2x+1}{x-1}=2+\frac 3{x-1}$,且$\frac {2x+1}{x-1}$的值是整数
∴$\frac 3{x-1}$的值必是整数
∵$x$为整数,∴$x-1=±1$或$x-1=±3$
解得$x=0$或$x=2$或$x=-2$或$x=4$
∴当$x=0$或$2$或$-2$或$4$时,分式$\frac {2x+1}{x-1}$的值是整数