1

84% 的总胜率！AI也能玩转西洋陆军棋

【导读】

在AI游戏领域，人工智能的进展往往通过棋盘游戏进行展现。棋盘游戏可以度量和评估人类和机器如何在受控环境中发展和执行策略。数十年来，提前规划的能力一直是AI在国际象棋、跳棋、将棋和围棋等完美信息游戏以及扑克、苏格兰场等不完美信息游戏中取得成功的关键。

如今，AI 在此前尚未掌握的经典棋类游戏 Stratego（西洋陆军棋）中，表现出了人类专家级一般的水准——以 97% 的最低胜率击败了其他 AI 机器人；在 Gravon 平台上与人类专业玩家对弈，取得了 84% 的总胜率，在年初至今和历史排行榜上都排在前三名。

值得注意的是，这一惊人表现是在没有部署任何搜索方法的情况下实现的，这是 AI 之前在棋类游戏中取得多个里程碑式成就的关键。

多年来，Stratego 一直是人工智能行业的下一个前沿领域之一。Stratego 玩家既需要有像玩国际象棋一样的长期战略性思考，也需要能够像打扑克一样处理不完全的信息。

不完全信息，意味着参与人在进行博弈时不清楚博弈中的某些要素。例如，在桥牌游戏中，玩家并不清楚其他玩家手中的牌，在拍卖会中，竞拍人并不清楚其他竞拍人对物品的估价。

这个名为“DeepNash”的 AI 代理出自 DeepMind，在他们看来，这代表了一个非凡的成果；同样，Stratego 社区也认为，这用现有技术是不可能实现的。

在 Stratego 中，双方各有代表元帅（Marshal）、将军（General）、上校（Colonel）、中校（Major）、上尉（Captain）、中尉（Lieutenant）、士官（Sergeant）、除雷兵（Miner）、斥侯（Scout）、间谍（Spy）、地雷（Bomb）、军旗（Flag）的棋子。

具体游戏规则为：两方将所有己棋竖立、以正面朝后的方式排布，然后轮流移动一枚己棋；可以将棋子沿纵横方向移动一格至空格或敌棋处，但需要维持正面朝后；如果一方棋子到达敌棋处，便将两棋公开，一般胜方这一棋子会被放回原位且正面继续朝后，输方这一棋子则被移除游戏。

据论文描述，DeepNash 使用了一种博弈论的、无模型的深度强化学习方法 R-NaD，无需搜索，便能以从头开始的自我博弈方式来学习如何掌握游戏策略，比如虚张声势。

研究团队表示，这项工作引入了一种新的博弈论方法，与最先进的基于搜索的学习方法截然不同，在训练过程中不执行任何形式的搜索或显式对手建模，只依赖于在测试时使用一些游戏特定的启发式教学。

展望未来，目前还没有迹象表明 R-NaD 在零和的双人游戏设定之外会如何发展。

然而，研究团队却认为，它或许可以解锁深度学习方法在现实世界中具有不完全信息特征的巨大空间的多智能体问题中的进一步应用。例如，最先进的双人扑克方法已经成功应用在六人扑克中。

该方法在这类不完全信息场景下或许有很多潜在应用，包括人群和交通建模、智能电网、拍卖设计和市场问题等。

论文信息：

标题：Mastering the game of Stratego with model-free multiagent reinforcement learning

出版信息：SCIENCE，01 December 2022

DOI：10.1126/science.add4679

_

2

我国学者成功研制当前最小低功耗相变存储单元

【导读】

中国科学院上海微系统与信息技术研究所宋志棠、王浩敏等组成的联合研究团队采用石墨烯纳米带边缘接触制备出当前功耗最小的相变存储单元器件。研究成果以“通过石墨烯纳米带边界接触实现相变存储器编程功耗最小化”为题，在线发表于《先进科学》期刊。

当今数据生产呈现爆炸式增长，传统的冯·诺依曼计算架构已成为未来继续提升计算系统性能的主要技术障碍。相变随机存取存储器 (PCRAM)可以结合存储和计算功能，是一条突破冯·诺依曼计算构架瓶颈的理想路径。它具有非易失性、可集成密度高、编程速度快和循环寿命长等优点。然而，PCRAM中相变材料与加热电极之间的接触面积较大，造成相变存储器操作功耗较高。如何进一步降低功耗成为相变存储器未来发展面临的最大挑战之一。缩小加热电极尺寸成为降低功耗的关键。石墨烯纳米带（graphene nanoribbon，GNR）是一种准一维的石墨烯纳米结构，具有化学惰性和良好的热稳定性，并且具有超高载流能力（＞1E9 A/cm2），可以用作相变存储器加热电极。

研究团队利用六方氮化硼（h-BN）封装GNR，使相变材料与GNR形成边界接触，将电极尺寸推向极限小。测量结果表明：

（1）当边界接触宽度减小至~3 nm时，其横截面积降至~1 nm2，相变存储单元不但可以实现万次以上的循环寿命，而且RESET电流降低为 0.9 μA，对应写功耗降低至~53.7 fJ。该功耗比目前最先进制程制备的单元器件低近两个数量级，几乎是由碳纳米管裂缝（CNT-gap）保持的原最小功耗世界记录的一半。

（2）具有石墨烯和GNR边界接触电极的不对称结构的相变存储单元的循环寿命及失效机制对电压极性具有很强的依赖性。

（3）在基于GNR边界接触电极的相变存储单元中，GNR不仅作为加热电极也充当半导体沟道，可在2.5 MHz的时钟频率下实现D型触发器的时序逻辑功能。

该研究将h-BN/GNR/h-BN异质结构应用于相变存储单元中，器件尺寸接近相变存储技术的缩放极限，实现了超低功耗、高编程速度、出色的高/低电阻比并且展现出良好稳定性和耐用性。同时也为后摩尔时代低功耗存内算术和逻辑单元的开发开辟了新的技术路径。

论文信息：

标题：Minimizing the Programming Power of Phase Change Memory by Using Graphene Nanoribbon Edge-Contact

出版信息：Advanced Science，18 July 2022

DOI：10.1002/advs.202202222

转自：“科研之友 ScholarMate”微信公众号

如有侵权，请联系本站删除！