先说答案：except.
besides，except区别是这样的：
except表示除了，而besides表示除了……还有，
【例】除了Tom每个人都来了：Everyone is here except Tom．则除了Tom没有人没来了；
除了Tom没来，Peter也没来:Besides Tom, Peter also didn't come.也就是说初了Tom,还有人和Tom一样没来．要用逗号隔开；
再来看你的这到题，They all went there _____ Jim and me.
虽然Jim and me是两个人，但意思是初了Jim and me其他人都去过那里，则Jim and me是一个整体，除了Jim and me没人没去过那里了，则要填except
【拓展】except和except for的区别
except for强调的是整体和局部的差别
【例】你的作文写的不错，除了一点点拼写错误：Your competition is wonderful except for some spelling mistakes.此时要用except for而不是 except了．