本发明公开了一种基于最近探索的启发式服务组合方法,包括如下步骤:1、将服务组合问题建模为一个六元组马尔可夫决策过程;2、应用基于Q?learning的启发式学习方法求解六元组马尔可夫决策过程,得到最优策略;3、将最优策略映射为web服务组合的工作流。该方法充分利用学习过程中的学习经验来提高学习速度,学习效率更高。