1871年8月30日，卢琴福出生于新西兰纳尔逊附近的泉林村，父亲是农民和工匠，母亲是乡村教师。他在小学就对科学实验产生了浓厚的兴趣。因为成绩优异，学习期间曾获一系列奖学金。1894年从坎特布雷学院毕业时，以该校空前的物理和数学第一名的成绩获硕士学位，还由于在无线电实验研究方面的突出成绩而获理学学士学位。毕业后，留校工作一年，1895年考取大英博览会奖学金，到英国剑桥大学卡文迪许实验室学习。
1896年春末，卢瑟福接受卡文迪许实验室主任汤姆生的建议，把研究方向从无线电转移到放射性上。1897年，卢瑟福用强磁场作用于镭发出的射线时发现，射线可以被分成几个组成部分。他把偏转幅度小的带正电的部分叫a射线，把偏转幅度大的带负电的部分叫β射线，同时他还根据实验预言，可能存在一种在磁场中不偏转，穿透能力更强的射线，这就是后来发现的并由他命名的γ射线。
1898年，卢瑟福在卡文迪许实验室研究生毕业后，由汤姆生举荐，到加拿大的麦吉尔大学任物理学教授。在教学之余，他继续研究放射性，与来自英国的青年化学家索迪合作，于1902年首先发现了放射性元素的半衰期，提出放射性是元素自发衰变现象，通过放射性和光谱实验结果指出原子有一个很复杂的结构。1905年，他应用放射性元素的含量及其半衰期，计算出太阳的寿命约为50亿年，开创了用放射性元素半衰期计算矿石、古物和天体年龄的先河。
在放射性研究上取得的一系列重大成果，使卢瑟福闻名于世。由于英国曼彻斯特大学有设备先进的实验室和优越的科研条件，他于1907年谢绝了一些着名大学的高薪聘请，而出任该校物理学教授。卢瑟福对α、β、γ射线作了大量的研究。1908年，他测算出β射线的电荷，1913年，他提出α粒子的带电量为2e，原子量为3.84，认为α粒子失去电荷后应变成氦原子，1913-1914年，他与人合作，测定γ射线的性质和波长，最终确认γ射线是一种比X射线频率更高的电磁辐射。
卢瑟福早就有用α射线探索原子结构的想法。早在1903年他就发现α射线的能量比β和γ射线大99倍左右，1906年他又发现α射线通过云母片时，出现了偏转2°的小角度散射现象。1908年6月，盖革发现α射线的散射角与靶材料的原子量成正比，同年10月，布拉格写信给卢瑟福，告诉他用α粒子轰击原子时发生α粒子急转弯的现象。这些现象促使他和盖革决定用重金属靶进行散射实验。1909年3月，卢瑟福向正在实验的马斯登提出“看一看你是否能够得到从金属表面直接反射α粒子的效应？”结果，马斯登发现了等于和大于90°的大角度散射现象。1911年，卢瑟福受“大宇宙与小宇宙相似”的启发，把太阳系和原子结构进行类比，提出了一个原子模型，即卢瑟福原子模型。他觉得，原子像一个小太阳系，每个原子都有一个极小的核，核的直径在10~12厘米左右，这个核几乎集中了原子的全部质量，并带有单位个正电荷，原子核外有电子绕核旋转，所以一般情况下，原子显中性。1912年，盖革和马斯登用实验证明了带正电的原子核的存在。1913年莫塞莱用元素特征谱线与原子序数的关系证实了核外电子环的存在。
1918年，继汤姆生之后，卢瑟福担任了卡文迪许实验室领导，将卡文迪许实验室发展到一个新的高峰。不但把物质微观结构的研究推向崭新的阶段，同时还培养出了许多青年科学家。
卢瑟福是20世纪初最伟大的实验物理学家，他于1908年荣获诺贝尔化学奖。他一生发表论文约215篇，着作6种，培养了10位诺贝尔奖获得者。1937年10月19日，因肠阻塞并发症逝世，葬于伦敦威斯敏斯特大教堂牛顿墓旁。
