物流管理论文哪里有？本文针对装船时堆场贝内翻箱问题特点，将发箱顺序已知的装船时堆场贝内翻箱问题描述为MDP。针对翻箱方案由专家制定的实际，为克服RL回报函数依赖人为确定的局限，引入IRL方法求解装船时堆场贝内翻箱问题，并设计基于随机决策的SH算法和基于规则决策的RH算法，与基于IRL的算法对比。
第1章绪论
1.3国内外研究现状
集装箱码头中以集装箱为核心的作业，直接影响码头运营成本与效率。进行堆场中集装箱翻箱问题研究，优化码头中集装箱作业顺序具有重要意义，学术界和企业界对码头中集装箱作业问题展开了广泛而深入的研究。根据本文研究问题特点，在追溯国内外相关研究的基础上，从堆场集装箱翻箱、集装箱作业顺序和逆向强化学习研究三个方面展开研究现状分析。
1.3.1集装箱堆场翻箱问题
根据发生时间不同，集装箱堆场翻箱分为预翻箱和作业时翻箱，前者是进口箱提箱、出口箱发箱前调整集装箱位置，使堆场堆存状态符合后续作业要求；后者是按照既定顺序作业，在进口箱提箱、出口箱发箱过程中，对阻碍作业的集装箱进行提箱时翻箱、装船时翻箱。作业时翻箱可以看作预翻箱的特例，针对二者的研究具有互相启发的作用。
（1）堆场预翻箱
堆场预翻箱问题（Container Pre-marshalling Problem,CPMP）是以最少的翻箱次数或移动距离调整集装箱的堆存位置，使堆场堆存状态满足后续快速作业要求。CPMP具有大量可行解且最优解不唯一，是复杂的组合优化问题。Kim K H和Bae J W[3]较早关注堆场预翻箱，将贝位间出口箱翻箱问题分解为贝位间堆存状态匹配、翻箱移动规划和翻箱任务排序三个子问题。先运用动态规划实现贝位间堆存状态匹配，将翻箱移动规划描述为运输问题以确定拟翻集装箱数量；然后运用动态规划实现翻箱任务排序，最小化贝位间翻箱作业时间。由于数学规划方法求解时间较长，作者指出需要开发启发式算法。Lee Y和Hsu N Y[4]首次明确提出堆场预翻箱概念，在研究堆场贝内预翻箱问题时，构建线性整数规划数学模型，并将堆场贝位内集装箱位和所有可能的翻箱移动抽象为结点和弧，基于多商品网络流最小化堆场预翻箱次数。
第3章装船时堆场贝内翻箱MDP建模与IRL求解
3.1基于MDP的装船时堆场贝内翻箱模型
堆场装船发箱时，翻箱落箱位的选择有优劣之分，堆场贝位堆存状态受场桥发箱作业影响，下一个堆存状态仅与当前堆存状态有关，具有明显的时序特点，可构建为基于MDP的装船时堆场贝内翻箱模型。
3.1.1装船时堆场贝内翻箱问题描述
装船时堆场翻箱是场桥按照既定顺序进行装船发箱作业时，对阻碍装船发箱作业的集装箱进行翻箱。当拟装船出口箱发箱顺序不重复时，可用发箱顺序表示堆场贝位内对应位置的出口箱。定义堆场贝位各列发箱顺序最小的出口箱，为所在列的最早发箱出口箱；堆场贝位中发箱顺序最小的出口箱，为目标箱；各列位于最早发箱出口箱上层的集装箱为阻塞箱；翻箱前，被翻集装箱所在位置为翻箱位；翻箱后，被翻集装箱所在位置为翻箱落箱位。
场桥装船发箱动作可分为取箱动作和翻箱动作，取箱动作是将堆场贝位中，位于所在列表层的目标箱移至水平搬运车辆，运往岸桥处装船；翻箱动作是调整阻碍发箱作业的集装箱的位置，以便取箱动作能按照发箱顺序进行。在集装箱船舶靠泊的有限时间内，需要完成所有拟装船出口箱的发箱作业，因此，翻箱动作往往仅针对目标箱的阻塞箱，翻箱落箱位从同堆场贝位内选择，要求满足翻箱后堆场贝位内集装箱不悬空。
第4章堆场多贝位装船发箱建模与智能决策
4.1堆场多贝位装船发箱决策模型
将堆场装船发箱顺序作为决策变量，考虑堆场多贝位装船发箱时，堆场翻箱及水平搬运环节对出口箱岸边到达顺序的影响，结合岸边装船作业特点及约束，将装船时堆场贝内翻箱模型扩展为堆场多贝位装船发箱决策模型。
4.1.1堆场多贝位装船发箱问题描述
船舶贝位配载图在制定时会考虑集装箱船海上航行安全，通常情况下应使船舶贝位实际配载与船舶贝位配载图一致。岸边每次装船作业严格按照船舶贝位配载图进行，当出口箱装船无特殊顺序要求时，船舶贝位配载图对应多种可行的岸边装船作业顺序，仅船舶贝位同列集装箱装船时存在先后顺序约束。在满足装船作业不悬空的前提下，按照出口箱岸边到达顺序装船，可以减少水平搬运车辆的岸边等待时间；出口箱岸边到达顺序不满足不悬空约束时，岸桥停止作业以等待满足该约束的出口箱到来，同时水平搬运车辆在岸边等待，至装船作业进行到该出口箱装船后满足不悬空约束为止。
为实现堆场发箱与岸边装船效率的均衡，堆场会根据岸桥最大作业效率，确定同时发箱的堆场贝位数量及堆存状态。对船舶贝位进行装船，堆场多贝位装船发箱时，出口箱岸边到达顺序与堆场多贝位发箱顺序决策及装船时堆场贝内翻箱决策有关。堆场确定装船发箱顺序时，按照船舶贝位配载图从下到上、堆场堆存状态从上到下的方式对比，将不重复的发箱顺序分配给拟装船的出口箱，确保位于船舶贝位下层的出口箱先到达岸边装船。
4.2堆场多贝位装船发箱智能决策算法设计
4.2.1子算法-堆场多贝位发箱顺序决策算法设计
确定堆场多贝位装船发箱顺序，是将不重复的发箱顺序分配给拟装船的出口箱，每个出口箱发箱一次，每个发箱顺序分配一次。将出口箱和发箱顺序看作结点，二者之间对应关系看作边，可将问题抽象为一张无向图。无向图的两个结点集合无交集，集合内结点间没有边连接，在图论中又叫二分图。用英文字母与数字的组合表示出口箱，不重复的数字表示发箱顺序，结点间的边表示可以将该发箱顺序分配给该出口箱，不同的边对应不同的堆场翻箱次数与岸边等待代价。简化的出口箱发箱顺序二分图如图4-1所示，发箱顺序与拟装船出口箱一一对应，图中实线为满足这一约束的可行的分配方式。
第5章总结与展望
5.2展望
本文针对集装箱堆场多贝位装船发箱问题，设计可求解实际问题规模的堆场多贝位装船发箱智能决策算法。但是由于本人能力不足，在进行算例分析时，发现仍有诸多值得研究的问题，改进方向可分为以下三个方面：
（1）根据集装箱堆场装船发箱作业实际，设计堆场装船发箱顺序确定启发式规则，剔除质量不高的堆场装船发箱顺序，实现堆场装船发箱顺序集合的压缩，提高堆场多贝位装船发箱智能决策算法的效率。
（2）针对IRL算法，改进动作对应的特征期望值求解方法，克服蒙特卡洛模拟方法多次循环迭代，并将模拟结果均值作为特征期望值的局限，以提高特征期望值的质量和装船时堆场贝内翻箱算法的效率。
（3）根据岸桥、场桥小车移动轨迹，细化出口箱发箱、翻箱和装船作业时刻的计算，加入水平搬运车辆数量限制，及可能存在的交通拥堵因素，为实现堆场出口箱装船发箱作业实时、精确控制奠定基础。
参考文献（略）
