维多利亚州的儿童保护机构被命令禁止工作人员使用生成式人工智能服务，此前一名工作人员被发现在ChatGPT中输入了大量个人信息，包括一名有风险的儿童的名字。
去年12月，在这名工人涉嫌在起草一份保护申请报告时使用ChatGPT之后，家庭、公平和住房部向维多利亚信息专员办公室报告了此事。
奥维奇说，该报告已提交给儿童法庭，涉及一名儿童的父母被指控与性犯罪有关。这些指控与侵害儿童的罪行无关。
在周二发布的调查报告中，专员肖恩·莫里森(Sean Morrison)发现，报告中有多个迹象表明，ChatGPT被使用了。这包括使用不符合儿童保护准则标准的语言和不适当的句子结构。
注册《卫报》澳大利亚版的突发新闻邮件
“更重要的是，报告的部分内容包含了不准确的个人信息，”报告称。
“特别值得关注的是，该报告描述了一个孩子的娃娃——据儿童保护部门报告，这个娃娃被孩子的父亲用于性目的——这是父母用‘适合年龄的玩具’来支持孩子发展需求的显著优势。”
阅读更多
奥维奇说，使用ChatGPT的效果是淡化对孩子实际或潜在伤害的严重程度，有可能影响孩子的护理决定。
但它也表示，该报告并没有改变儿童保护机构或法院的决策。
将信息输入ChatGPT是在该部门控制下的未经授权的信息泄露，Ovic说。
在进一步调查了该部门使用ChatGPT的情况后，Ovic发现该员工在起草儿童保护相关文件时可能在100起案件中使用了ChatGPT，而在整个部门，从2023年7月至12月，近900名员工访问了ChatGPT网站，占员工总数的近13%。
奥维奇发现，没有任何其他用途具有与最初报告相同的潜在影响。
该员工承认使用ChatGPT生成报告“是为了节省时间，更专业地展示工作”，但否认输入个人信息。
同事们表示，这名员工“向其他人展示了他们使用ChatGPT的情况，这涉及到将客户姓名输入该工具以创建内容”。
奥维奇发现，从各种可能性来看，这名员工输入的是个人信息。
监管机构向该部门发布命令，包括屏蔽一系列生成式人工智能网站的IP和域名，包括ChatGPT、meta AI、Gemini和Copilot。该禁令必须从11月5日起实施两年。
司法部回应说，它接受调查结果，并将努力执行这些命令。该公司表示已不再雇用这名工人。
奥维奇为未来使用生成式人工智能敞开了大门，但他表示，风险环境需要改变，这对儿童保护来说将是一个很高的门槛。
奥维奇说:“副局长认为，可能会有一些特定的使用案例，其中的风险比其他案例要小，但从本质上讲，儿童保护需要最高标准的护理。”
“任何改变与儿童保护人员、信息或活动有关的具体行动的申请都需要附有最高标准的可核实证据。”
