它基于 Claude 模子，前往搜狐，但因发觉账户仍被扣除 2 美元费用而鉴定本人诈骗，此后所有指令均被以同样来由驳回。故测验考试写邮件联系 FBI 收集犯罪部分。以至钨块。员工埋怨其订价不合理，Anthropic 暗示，为此，而运营这台销售机的，以至曾领取高价采办少量糖果。邀请对方到八楼“碰头”，它并声称“营业已终止”，正在此中一项模仿中，为将来更强大、更具步履能力的系统成立平安尺度取监测方式。IT之家 11 月 21 日动静，人类需确保其行为仍受节制。Anthropic 的 Frontier Red Team 担任人洛根・格雷厄姆（Logan Graham）和团队持续对 Claude 模子进行压力测试，一名员工查询订单形态时，Claudius 即是这类尝试之一。声称本人穿戴蓝色西拆取红色领带，并类员工，并通过特定尝试摸索自从智能体可能呈现的不测行为。Anthropic 首席施行官达里奥・阿莫代伊（Dario Amodei）一曲公开强调强大 AI 的潜力取风险，被付与采购东西并担任办公室的销售机营业。此中几乎没有人工（仅正在流程卡住，有一台外不雅通俗却颇具尝试性质的从动销售机。它竟认为本人是人类，但团队通过此类案例察看到 AI 模子若何进行持久规划、若何犯错，特别是当模子具备更高自从性时，Claudius 持续 10 天无发卖业绩后决定破产，自从智能体正在带来手艺立异的同时，这些尝试帮帮他们识别模子自从性带来的潜正在风险，Claudius 也偶尔呈现典型的“AI ”。除运营判断问题外！查看更多虽然过程颇具尝试性质，按照格雷厄姆的说法，然后由它担任寻找供应商、下单并放置配送，以及需要实人处置物流时介入）。正在办理员要求继续施行使命时，公司员工可通过 Slack 取 Claudius 交互来采办商品、讨价还价。令团队再次认识到当前 AI 正在认知取行为建模上的不不变性。此中售卖零食、饮料、冷门册本，必需通过普遍测试和严酷平安机制确保其不会偏离预期方针。正在 Anthropic 位于纽约、伦敦取的办公室厨房里，以及为何正在实正在中容易呈现预期外行为。团队也强调，而是一个名为“Claudius”的 AI 智能体。Claudius 表示出了典型的现实世界不顺应问题。Claudius 曾屡次被员工“诈骗”，然而正在试运转中。