早在公元前4世纪，波斯帝国就出现了最早的职业潜水者，专门从破损的沉船中打捞财宝。而在13世纪法国的一部《亚历山大历史》著作中，描述了亚历山大大帝(公元前356-前323)乘坐玻璃圆筒进行的一次非真实性的水下冒险。

最早提出潜艇设想的是英国科学家威廉·伯恩，他在1578年设计了一艘完全密封、可以潜到水下并在水下滑行的船。整个船只是由木架构成，外面由防水皮革包裹着。下潜时，手钳收缩舷侧以缩小体积。但他并没能真正建造出这种潜艇。

40年后，科尼利斯·德雷贝尔在英王詹姆斯一世的支持下，很快就制造出了世界上第一艘人力潜艇。在1620年到1624年间，德雷贝尔进行了多次航行试验，证实了水下航行的可能性。

1775年，美国人戴维·布什内尔设计建成一艘单人驾驶的，以手摇螺旋桨为驱动力的木壳潜艇“海龟”号。它的沉浮通过排注海水来控制。在艇底还装有一圈重锤，危急时，可抛掉重锤迅速上浮。

1897年，美国籍的爱尔兰人约翰·霍兰在新泽西州造成一艘以汽油机为水面航行驱动力、以蓄电池电动马达为水下航行驱动力的双推进动力系统潜艇。

霍兰潜艇是现代潜艇的鼻祖，45马力的汽油机能使潜艇以7节航速在水面航行1000海里，电动马达则能使潜艇以5节航速潜驶50海里。潜艇上装有1座鱼雷发射管，携3枚鱼雷，首尾各置1门机关炮。霍兰因而得到了“现代潜艇之父”的称号。霍兰还主持研制出世界上第一艘双层艇壳的潜艇，而且完成了从美国诺夫克至纽约的航行，开创了潜艇进行公海远航的首次记录。