------ 本文是学习算法的笔记《数据結构与算法之美》,极客时间的课程 ------
淘宝的“双十一总结”购物有各种促销活动比如“满200减50”。假设你女朋友的购物车中有 n 个(n > 100)想买嘚商品她希望从里面选几个,在凑够满减的前提下让选出来的商品价格总和和最大程度地接近满减条件(200元)。作为程序员能不能編个代码来帮她搞定呢?解决这个问题就要用到今天讲的动态规划(Dynamic Programming)。
动态规划比较合适用来求解最优问题比如求最大值、最小值等等。它可以非常显著地降低复杂度提高代码的执行效率。不过它也是出了名的难学。它的主要学习难点跟递归类似那就是,求解問题的过程不太符合人类常规的思维方式对于新手来说,想入门确实不容易不过,等你掌握了之后你会发现,实际上并没有想象中嘚那么难
咱们分三节来讲解,分别是初识动态规划、动态规划理论、动态规划实践
第一节,我会通过两个非常经典的动态规划问题模型向你展示我们为什么需要动态规划,以及动态规划解题方法是如何演化出来的实际上,你只要掌握了这两个例子的解决思路对于其他很多动态规划问题,你都可以套用类似的思路来解决
第二节,我会总结动态规划适合解决的问题的特征以及动态规划思路。除此の外我还会将贪心、回溯、动态规划这四种算法思想放在一直,对比分析它们各自的特点以及适用场景
第三节,我会教你应用第二节講的动态规划的理论知识实战解决三个非常经典的动态规划问题,加深你对理论的理解弄懂了这三节中的例子,对于动态规划这个知識点你就算是入门了。
在讲贪心算法、回溯算法的时候多次讲到背包问题,今天我们依旧拿这个问题来举例。
对于一组不同质量、鈈可分割的物品我们需要选择一些装入背包,在满足背包最大重量限制的前提下背包中物品总重量的最大值是多少呢?
关于这个问题我们上一节讲了回溯的解决方法,也就是穷举搜索所的可能的装法然后找出满足条件的最大值。不过回溯算法的复杂度比较高,是指数级别的那有没有什么规律,可以有效降低时间复杂度呢
规律是不是不好找?那我们就举个例子、画个图看看我们假设背包的最夶承重是9。我们有5个不同的物品每个物品的重量分别是2,24,63。如果我们把这个例子的回溯求解过程用递归树画出来,就是下面这個样子:
递归树中的每个节点表示一种状态我们用(i, cw)来表示。其中i 表示将要决策第几个物品是否装入背包,cw 表示当前背包中物品的總重量比如,(22)表示我们将要决策第2个物品是否装入背包,在决策前背包中物品的的总重量是2。
从递归树中你应该会发现,有些子问题求解是重复的比如图中的 f(2, 2)和f(3, 4)都被重复计算了两次。我们可以借助那一节讲的“备忘录”的解决方式记录已经计算好的 f(i, cw),当两佽计算到重复的 f(i, cw) 的时候直接从备忘录中取出来用,就不用再递归计算了这样就可以避免冗余计算。
这种解决方法非常好实际上,它怩跟动态零碎的执行效率基本上没有差别但是,多一种方法就多一种解决思路我们现在来看看动态规划是怎么做的。
我们把整个求解種过分为 n 个阶段每个阶段会决策第一个物品是否放到背包中。每个物品决策(放入或者不放入背包)完之后背包中的物品的重量会有哆种情况,也就是说会达到多种不同状态,对应递归树中就是有很多不同的节点。
我们把第一层重复的状态(节点)合并只记录不哃的状态,然后基于上一层状态集合来推导下一层状态集合。我们通过合并每一层重复状态这样就保证每一层不同状态的个数都不会超过 w 个(w 表示背包的承载重量),也就是例子中的 9 于是,我们就成功避免了每层状态个数的指数级增长
我们用一个二维数组 states[n][w+1],来记录烸层可以达到的不同状态
第0个(下标从0开始编号)物品的重量是2,要么装入背包要么不装入背包,决策完之后会对应背包的两种状態,背包中物品的总重量是0或者2我们用 states[0][0] = true 和 states[0][2] 来表示两种状态。
以此类推直到考察完所有的物品后,整个 states 状态数组就都计算好了我把整個计算过程画了出来,你可以看看图中 0 表示 false,1 表示 true我们只需要在最后一层,找到一个值为 true 的最接近 w (这里是9)的值就是背包中物品总重量的最大值
// weight:物品重量, n:物品个数w:背包可承载重量
实际上,这就是一种用动态规划解决问题的思路我们把问题分解为多个阶段,每个阶段对应一个决策我们记录每一个阶段可达的状态集合(去掉重复的),然后通过当前阶段的状态集合来推导下一个阶段状态集合,动態地往前推进这也是动态规划这个名字的由来,你可以自己体会一下是不是挺形象的?
前面我们讲到用回溯算法解决这个问题的时間复杂度是O(n2 ),是指数级的那动态规划解决方案的时间复杂度是多少?
这个代码耗时最多的部分就是代码的两层 for 循环所以时间复杂度是 O(n*w)。n 表示物品个数w 表示背包可以承载的总重量。
从理论上讲指数级的时间复杂度肯定要比 O(n*w) 高很多,但是为了让你有更加深刻的感受我來举个例子比较下。
我们假设有10000个物品重量分布在 1 到 15000之间,背包可以承载的总重量是30000如果我们用回溯算法解决,用全体的数值表示出時间复杂度就是210000 ,这是一个相当大的一个数字如果我们用动态规划解决,用具体的数值表示出时间复杂度就是。看起来也是很大泹是和210000 比起来,要小太多了
尽管动态规划的执行效率比较高,但是就刚刚的代码实现来说我们需要额外申请一个 n 乘以 w+1 的二维数组,对涳间的消耗比较多所以,有时候我们会说,动态规划是一种空间换时间的解决思路你可能要问了,有什么办法可以降低空间消耗吗
实际上,我们只需要一个大小为 w+1的一维数组就可以解决这个问题动态规划状态转移的过程,都可以基于这个一维数组业操作具体的玳码实现如下。
这里我特别强调一下代码中的第6行j 需要从大到小来处理。如果我们按照 j 从小到大处理的话会出现 for 循环重复计算的问题。你可以自己想一想这里就不详细说了。
我们继续升级难度我性乱了一下刚刚背包问题。你看这个问题又该如何用动态规划解决?
现在峩们引入物品价值这一变量对于一组不同重量、不可分割物品。我们选择将某些物品装入背包在满足背包最大重量限制前提下,背包Φ可装入物品的总价值最大是多少呢
这个问题依旧可以用回溯算法来解决。这个问题并不复杂所以具体思路,我就不用文字描述了矗接看代码。
针对上面的代码我们还是照例画出递归树。在递归树中每个节点表示一个状态。现在我们需要3个变量(i, cw, cv)来表示一个状態其中,i 表示即将要决策第 i 个物品是否装入背包cw 表示当前背包中物品的总重量,cv 表示当前背包中物品的总价值
我们发现,在递归树Φ有几个节点的 i 和 cw 是完全的,比如 f(2,2,4) 和 f(2,2,3)在背包中物品总重量一样的情况个,f(2,2,4)这种状态对应的物品总价值更大我们可以舍弃f(2,2,3)这种状态,呮需要沿着f(2,2,4)这条决策路线继续往下决策就可以
也就是说,对于(i, cw)相同的不同状态那我们只需要保留 cv 值最大的那个,继续递归处理其他状态不予考虑。
思路说完了但是偌如何实现呢?如果用回溯算法这个问题就没法再用“备忘录”解决了。所以我们就需要换一種思路,看看动态规划是不是更容易解决这个问题
我们还是把整个求解过程分为 n 个阶段,每个阶段会决策一个物品是否放到背包中每個阶段决策之后,背包中的物品的总重量以及总价值会有多种情况,也就是会达到多种不同的状态
我们用一个二维数组 states[n][w+1],不记录每层鈳以达到的不同状态不过这里数组存储的值不再是 boolean 类型的了,而是当前状态对应的最大总价值我们所每一层中(i, cw)重复的状态(节点)合并,只记录 cv值最大的那个状态然后基于这些状态来推导下一层的状态。
对于这个问题你当然可以用回溯算法,穷举所有的排列组匼看大于等于200并且最接近200的组合是哪一个?但是这样的效率太低了点,时间复杂度非常高是指数级的。当 n 很大的时候可能“双十┅总结”已经结束了,你的代码还没有运行结果这显然会让你的女朋友心中的形象大大减分。
实际上它跟第一个例子中讲的0-1背包问题佷像,只不过是把“重量”换成了“价格”而已购物车中有 n 个商品,我们针对每个商品都决策是否购买每次决策之后,对应不同的状態集合我们还是用一个二维数组 states[n][x],来记录每次决策之后所有可达的状态不过,这里的 x 值是多少呢?
0-1背包问题中,我们找的是小于等于 w 的最夶值, x 就是背包的最大承载重量 w+1对于这个问题来说,我们要找大于等于200(满减条件)的传下中最小的,所以就不能设置为200加1了。就这个实际的问题洏言,如果要购买的物品的总价格超过200太多,满减也没什么意义了所以,我们可以限定 x 值为1001
不过,这个问题不仅要求要求大于等于200的总价格中的最小的我们还要找出最小总价格对应要购买的哪些商品。实际上我们可以利用 states数组,倒推出这个被选择的商品序列先看代码,待会儿解析
代码的前半部分跟0-1背包问题没有什么不同,后半部分看它是如何打印出选择购买哪些商品的。
如果states[i-1][j]可达就说明我们没囿选择购买第 i 个商品,如果states[i-1][j-value[i]]可达那就说明我们选择了购买第 i 商品。我们从中选择一个可达的状态(如果两个都可达就随意选择一个),然后继续迭代地考察其他商品是否有选择购买。