，由国际著名学术期刊出版商爱思唯尔Elsevier 出版，主要发表高质量的原创研究论文、综述、简报和评论，旨在分享各领域关于数字化研究和应用的最新成果。

　　工厂布局规划旨在综合考虑不同的规划目标和边界条件，生成优化的布局方案。由于手动规划耗时较长，自动化规划方法通常在布局规划的初期阶段得到广泛应用。近期的研究提出了基于深度强化学习（RL）的方法，该方法能够通过学习潜在问题的度量标准来生成高质量的解决方案。然而，现有的基于深度强化学习方法仅考虑了绿地（新建工厂）规划，而忽略了更为常见的棕地（既有工厂）规划情况。本文针对这一研究空白，提出了一种新的规划方法，该方法结合了深度RL九游智能体育科技和物料流模拟，以解决棕地规划问题。

　　工厂布局规划：工厂布局规划旨在生成考虑不同规划目标和边界条件的优化布局方案。由于手动规划耗时，自动化规划方法常用于布局规划的早期阶段。

　　深度强化学习（RL）：近期发展提出基于深度强化学习的方法，通过学习问题的度量来生成高质量的解决方案。

　　研究缺口：现有的基于深度RL的方法仅考虑绿地规划，忽略了更常见的棕地规划。

　　方法论：本工作基于之前的研究，将绿地规划扩展到棕地规划。首先定义棕地规划问题的所有特征，包括现有布局、所有功能单元及九游智能体育科技其能力、相应的流程链和物料流特性。

　　应用场景和结果：通过Rainbow DQN代理处理当前状态信息，使用图神经网络处理运输矩阵，使用卷积神经网络处理布局中的空闲和占用空间信息，最后应用多层感知器处理下一个功能单元的信息。代理根据其动作空间进行操作，所有功能单元按顺序放置。动作掩码方法用于防止无效动作，最后将有效动作传递给环境以放置功能单元。

　　初始布局：包含13个功能单元的初始布局，分析显示功能单元位于布局角落，导致长运输距离和长通过时间。

　　实验设置：进行了七次实验，以不同的优先级α和β来研究RL方法在目标冲突设置中的能力。RL方法在Intel Xeon E 5-2670处理器上使用30GB RAM训练了3天。

　　解决方案概述：不同的优先级导致不同的解决方案，但并非所有解决方案都是最优的。规划者可以选择任何解决方案来详细分析生成的布局，但应主要关注生成的主导解决方案。

　　选定的解决方案：通过实验，观察到不同优先级导致不同的奖励曲线形状，并影响标准差。通过逐步降低重构努力的优先级β，可以找到有价值的中间布局，这些布局可以指导规划者完成棕地规划过程。

　　研究贡献：本文提出了一种用于棕地规划的基于模拟的RL工厂布局规划方法，扩展了现有的深度RL规划方法到棕地规划领域。

　　未来工作：未来的研究将关注如何管理棕地工厂规划中的动态需求，以增强方法的实际适用性。

　　于2024年获得莱普工业大学博士学位，自2023年10月起担任莱普工业大学制造技术和生产系统研究所（FBK）生产系统团队的首席研究员。他的研究重点是生产系统中的数字技术应用，迄今已发表高水平论文20余篇。

　　于2021年加入莱普工业大学制造技术和生产系统研究所（FBK）生产系统团队并攻读博士学位。他的研究重点是生产系统中的数字化技术应用，至今已发表多篇高水平论文。

　　德国工程院院士、CIRP院士及董事会委员、德国生产技术科学协会（WGP）会士及前主席，现任凯泽斯劳滕-兰道工业大学制造技术与生产系统首席教授。长期致力于数字化制造、先进制造和可持续生产的研究，主持数十项欧盟、德国教育部及德国科学基金会重点项目，荣获富布赖特高级访问学者和CIRP泰勒奖章等荣誉。现任凯泽斯劳滕工业大学校理事会成员、工业4.0应用中心Potsdam顾问委员及德国工程师协会VDI北巴登-普法尔茨分会董事，并担任德国研究基金会（DFG）、瑞士国家科学基金会（SNF）、美国国家科学基金会（NSF）评委，同时为《CIRP制造科学与技术》、《数字工程》等期刊编委会成员。

　　● 港理工黄国全教授、赵之恒博士团队：工业4.0应用中室内定位系统的现状、机遇与未来趋势

　　● 数字工程文章推荐 英国卡迪夫大学刘滢教授团队：面向工业5.0的人机交互：以人为本的智能制造

　　● 北航陶飞教授团队：数字试验测试验证：理论、关键技术及应用探索丨JME封面文章

　　特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。

　　聚焦数字孪生与数字工程研究，分享最新动态、成果与行业进展，助力产业升级。

　　美国又有2所知名大学为本科生免学费（含国际生）！附留美奖学金申请攻略~

　　《编码物候》展览开幕 北京时代美术馆以科学艺术解读数字与生物交织的宇宙节律

　　Satechi 为 2024 款 Mac mini 推新扩展坞：最高扩展 4TB 存储

　　Satechi重新设计接口底座外设 以适应新款、更小的 M4 Mac mini