作为应对，牛顿开始编撰他的光学大作，但是直到1704年，当惠更斯和胡克两人都已完全作古时，他才将著作发表。牛顿在《光学》中总结了他以前的全部工作、实验和理论。他注意到，光与玻璃或者水形成一定的倾斜度时，即全部反射而非折射。当光进入玻璃之内，会发生同样的现象：如果它以很小的角度射在玻璃上，它则全部被反射。在《光学》的第三卷中，他论述了格里马尔迪的衍射理论，牛顿将其称之为“回折。” 他证实说，即使在单一颜色的光里，他所称之为的“散乱边纹”也是在薄物体的影子周围产生的。牛顿试了头发、刀刃、细线、针头、干草等东西，将它门举在细细的光束前。 接着他开始了一系列的“疑问。” 他不受任何约束、不加证明地作出假设，建议“别人就这些问题作出更深刻的研究。” 在第一批疑问中，他建议说，光的衍射现象可以用光来回弯折的动作来解释，“就像鳗鱼游动那样。” 在以后再版的《光学》版本中，牛顿又增加了更多的疑问。他不断思考着光极其反射、折射和衍射的神秘现象。他和格罗斯泰斯特和约翰·迪都持同样的观点，认为光束，连同万有引力和其他神秘的力量一起，可能是上帝用于将宇宙连在一起的粘合剂。

他问道，“天体和光束难道不是在相互作用吗？也就是说，天体给光的作用是不是散发、反射、折射和回折，而光给天体的作用是不是给其加热、使其各部分进入一种带热量的震动的运动中呢？” 后来，他更加大胆地假设：“天体和光能不能相互转换呢？” 牛顿在描述光的效果时几乎提出了一种光波理论。“几种光线难道不是造成了几种大的震动吗？这些震动根据其程度激发了几种颜色的感觉，其形式很像空气的震动……激发了几种声音的感觉一样，不是这样吗？” 最能折射的光线激发了最短的震动，产生紫色，而折射最小的光线则产生最大的震动，在视网膜上造成一种“深红色的感觉。” 然而，在别的场合，牛顿却明显地信奉光的粒子理论。“光线难道不是闪光物散发出来的非常纤小的物体吗？” 接下来他抨击了光波理论。“难道说那些认为光存在于压力或者运动中、是通过一种流体媒介物传播的假说不是错误的吗？” 假如是那样，光就会拐弯进入阴影里（比衍射还要弯），光波就会混乱地相互碰撞，而十分稠密的以太就会使行星在轨道中的运行速度减慢。正相反，牛顿认为，光粒子撞到物体时在物体中产生光波，这一点解释了为什么眼睛有视觉并有热感的原因。

牛顿仍然认为以太非常微妙、非常稀薄，但是他坦率地承认，“我不知道这种以太到底是什么。” 以太似乎在一定的距离处促进了运动，比如万有引力、电和磁性。他假设，“也许存在比这还多的引力，” 比这短的距离之内的引力“我们觉察不到。”牛顿强调，他并不认为这些自然力是老式意义上的神秘特性。“如果告诉我们每一种东西都被赋予了神秘的特殊品质并通过这种神秘特殊品质来作为并产生明显的效果，那就等于什么也没有说。” 牛顿讲起话来十分现代而且具有理性。他对那些攻击他的万有引力理论为神秘、骗人的理论体系的人反应强烈。他反击道，世界万物中都有引力，不管它们之间的距离多么远，它们都对其它的物体产生某种神秘的影响。但是牛顿也有他迷信的一面。他将大量的时间花在了无用的炼金术实验上，试图将汞炼成白金。有人说，牛顿在1693年末患了急性神经混乱症，那就是因为某种程度的汞中毒。 不过，即使当牛顿头脑清醒时，他也深受宗教的影响。在他的《疑问》一书中有一长段表明他想起了《约伯记》中上帝的讲话。牛顿解释说，“第一个起因” 当然“不是力学引起的”： 我们在这个世界中看到的所有秩序和美丽来自于何处？

彗星流向哪里……是什么阻止了恒星不相撞？动物的躯体为什么那么富有艺术感？他们躯体的各个部分都有什么目的？难道眼睛产生时没有被赋予光学方面的技能？