出对数字、形状超出年龄的兴趣，他说自己3岁就想学数学了。他3岁的时候有一次大人告诉他汽车的油箱开几天就没有油了，这令他十分不解，因为他认为汽车会首先用完一半的油，然后接着用去剩下的油的一半，再一半，再一半，这样下去，总会有一丁点儿油剩在油箱里面，永远也不可能用完。这当然是苏格拉底之前的古希腊哲学家芝诺的著名悖论，西蒙斯多年以后讲起这个故事的时候笑着说：“对一个小孩子来说，这个想法应该是很复杂的吧？！”在后来的采访中，他还提起小的时候曾经想过开一家电影院，因为当地只有一家电影院，或者做一个犹太教的学者。他又自嘲说，幸亏没有。是啊，如果他开了一家电影院，或者成了宗教人士，波士顿附近可能会多一间平常的电影院，或者附近的犹太教教会多一个说话慢条斯理的牧师，但是投资行业却会少一个充满传奇色彩的人物。
在波士顿附近一个叫牛顿的小镇读完中学，西蒙斯进了麻省理工学院读数学。他当年的导师数学家辛格回忆说：“西蒙斯的悟性很好，他能直观地感受到数学的原理，这是很罕见的。”西蒙斯回忆自己在大学本科时代学习很用功，课外玩起来也很疯，花最多精力的是和几个同学一起玩猜点数的纸牌游戏。要想在这个游戏里制胜必须要有很好的概率计算能力和记忆力，一般人都会觉得很头疼，完全把它当成撞大运的游戏，但是对于这几个数学系的学生来说，这正是他们放松大脑的最好办法。他们常常开夜车，玩到凌晨，然后大家挤进西蒙斯的老爷车，开到离麻省理工学院所在地剑桥镇不远的一家很有名的、半夜里仍然开门的烤鸡店大吃一顿。西蒙斯的导师辛格也常常在那里吃鸡：一边啃骨头，一边啃高深的数学问题。还不到20岁的西蒙斯觉得这种生活非常惬意：虽说导师都已经是成年人了，但是还可以半夜在炸鸡店里面钻研数学问题。这使西蒙斯非常向往。很多年里，西蒙斯都一直和辛格保持联系，过去他们是师生，后来是朋友。当时一块儿打扑克、开车吃烤鸡的有两个哥伦比亚籍同学，也都一直是西蒙斯的好朋友。学士学位拿到手的时候，西蒙斯还和其中的一个同学骑着小摩托车从波士顿一路玩到哥伦比亚的首都波哥大。
1958年，20岁的西蒙斯用了3年学完了本科，转投加州大学伯克莱分校攻读数学博士学位。其间他第一次结婚，婚礼上新婚夫妇收到的礼钱都被西蒙斯拿去投资了。他回忆说他当时觉得投资股票很无聊，就跟美林的经纪人说了自己的观点，经纪人眯着眼睛瞧了瞧这个20岁刚刚出头的年轻人，歪着嘴说：“那你就去试试大豆吧。”西蒙斯就真的投了大豆的期货。好像后来赚了钱，但是赚也赚不了很多。那时候西蒙斯还对投资、交易之类的事情兴趣不大，但是几年后就发生了很大的改变。不过，虽说当时的大豆投资似乎对西蒙斯没有什么重要的影响，他的另外一项投资却为他掘到了人生第一桶金。他和那两个哥伦比亚的同学 三个麻省理工学院的数学系毕业生 联手在哥伦比亚开了一家制造聚乙烯地板的工厂，西蒙斯的父亲帮了他们一把，为他们垫付了一笔起始资金。这家工厂的投资后来回报丰厚，卖掉股份之后拿到的钱让西蒙斯交给别人投资在金融市场，很短的时间里面就暴增10倍，这很可能是西蒙斯走出学院的象牙塔、闯入金融行业的一个重要的原因，不过这是后话。
拓扑和越战
三年以后西蒙斯就拿到了博士学位，回到母校麻省理工学院当老师，那时他才23岁。他的博士学位导师回忆说：“吉姆是个很有独创性的人，喜欢坚持走他自己认定的道路。”他的博士论文有关多维弯曲空间里面的几何问题，和后来以西蒙斯和华裔著名数学家陈省身联合命名的陈-西蒙斯理论一样，都属于拓扑几何学的范畴。曾经有一个记者不小心请西蒙斯解释陈-西蒙斯理论，西蒙斯给他讲了半个小时，讲完之后记者后悔不迭：问了这个问题。
