在过去七年中，阿勒格尼县人类服务部的工作人员经常使用人工智能预测风险建模程序，以帮助评估儿童进入大匹兹堡地区寄养系统的风险因素。然而，近几个月来，阿勒格尼家庭筛查工具（AFST）背后的算法因其不透明的设计而受到越来越多的审查，并且长期存在种族、阶级和性别歧视。
此前《美联社》对阿勒格尼家庭筛查工具算法进行的深入分析曾揭示，某些数据点可能被解读为种族群体的替代描述。但现在看来，AFST 也可能影响残疾人群体以及有精神健康病史的家庭。而司法部正在关注此事。
[相关：白宫新的“AI 人权法案”计划解决种族歧视和有偏见的算法。]
根据今天发布的《美联社》的最新报道，已通过司法部民权司提交了多项关于 AFST 的正式投诉，引用了《美联社》此前对其潜在问题的调查。司法部匿名消息人士称，官员们担心 AFST 过度依赖有潜在偏差的历史数据，可能会“将过去的olarequities自动化”，特别是长期以来对残疾人和心理健康问题人群的歧视。
《美联社》解释说，阿勒格尼家庭筛查工具采用了一个“开创性”的人工智能程序，旨在帮助大匹兹堡地区不堪重负的社工确定哪些家庭需要就儿童福利索赔进行进一步调查。更具体地说，该工具旨在预测在对家庭环境进行调查后两年内，儿童被纳入寄养家庭的潜在风险。
据报道，AFST 的黑箱设计考虑了许多案例因素，包括“个人数据和出生、医疗补助、药物滥用、心理健康、监狱和假释记录，以及其他政府数据集”，以确定是否需要对忽视行为进行进一步调查。尽管最终由人类社工根据 AFST 算法的结果决定是否跟进案件，但批评者认为该程序的潜在错误判断可能会影响员工的决定。
[相关：犯罪学中使用生物学的种族歧视历史。]
阿勒格尼县人类服务部的一位发言人告诉《美联社》，他们不知道有任何司法部的投诉，他们也不愿讨论有关该筛查工具的更大范围的批评。
儿童保护服务系统长期以来一直面临关于其整体有效性以及黑人、残疾人、穷人和其他边缘化家庭所面临的不成比例的后果的广泛批评。AFST 的官方网站大量展示了第三方研究、报告和文章，这些都证明了该程序所谓的可靠性和实用性。
