Похоже, аналитики попали впросак при отборе данных: они "скормили" искусственному интеллекту массив информации за десятилетний период, к которому большинство присланных в корпорацию резюме поступали от мужчин.
Журналистам Reuters удалось на условиях анонимности пообщаться с пятью членами команды разработчиков, которые принимали участие в создании алгоритма с 2014 года.
По их словам, сначала система должна самостоятельно рассмотреть резюме и мотивационные письма, а затем присвоить им от одной до пяти звездочек в рейтинге.
"Руководство буквально хотело, чтобы вы давали алгоритму 100 резюме, из которых он бы составил топ-5, и компания впоследствии могла бы нанять этих людей", - заявил Reuters один из программистов.
К 2015 году, однако, уже стало понятно, что создана система не придерживается принципа гендерного нейтральности, поскольку большинство резюме за предыдущие годы в Amazon присылали мужчины.
Алгоритм начал отсеивать заявки со словом "женщины". Программу отредактировали так, чтобы искусственный интеллект не маркировал это слово и его производные как нечто негативное, но это не очень помогло.
Amazon признал программу ненадежной, и проект закрыли, однако, по информации Reuters, еще некоторое время отдел кадров принимал во внимание рекомендации алгоритма, хотя и не принимал окончательное решение.