В лучших китайских моделях ИИ нашли признаки обучения на контрабандных чипах Nvidia

Китайские разработчики искусственного интеллекта начали обучать модели на контрабандных чипах Nvidia. Доказательства тому выявил бывший сотрудник OpenAI Уилл ДеПью. Его отчет обнародовала ИИ-компания Unemployment Labs.
Исследователь изучил ИИ компаний DeepSeek, Moonshot AI (производитель моделей Kimi), MiniMax и Ant Group — и в шести последних моделях обнаружил следы применения чипов Nvidia Blackwell, экспорт которых в Китай запрещен американскими властями. Предыдущие модели этих разработчиков, а также новые LLM конкурентов, таких как Qwen, принадлежащая Alibaba, созданы на GPU предыдущего поколения Hopper от Nvidia, поставки которых разрешены.
Предположения об обходе санкций Поднебесной были всегда. Новый толчок им придал громкий скандал с бывшим президентом Nvidia Дженсеном Хуангом, вынужденным покинуть свой пост, когда всплыли данные о его отношениях с Элис Хуанг. Руководительница сингапурской компании, закупившей продукции Nvidia на миллиарды долларов, она подозревается в шпионаже в пользу КНР.
Криминалистический анализ ИИ возможен благодаря особенностям получения весов моделью. Изначально они представляют собой псевдослучайные числа, в дальнейшем, при обучении и ответах на вопросы, меняются — но в разной мере.
«В языковых моделях есть определенные веса, которые на самом деле почти не меняются на протяжении всего обучения», — объясняет информатик Рохит Кудитипуди.
«Модели не обязательно далеко перемещаться в огромном пространстве измерений, чтобы получить стать складно отвечающей по-английски — поэтому инициализация так и остается "вшитой" в веса», — подтверждает ДеПью.
Генерация псевдослучайных чисел зависит от устройства процессора. Выполнение этих операций GPU распределяет между своими многочисленными ядрами так, чтобы минимизировать затраты вычислительных ресурсов, говорит профессор Тор Омот из Университета Британской Колумбии, ранее работавший в Nvidia. У каждого из поколений чипов свои определения этого показателя. Поэтому по стартовым весам модели можно сделать вывод, на каких чипах она училась.
Проанализировав около шести триллионов комбинаций начального значения и компоновки чипа, ДеПью обнаружил следы подсанкционных GPU в китайском ИИ. Он, однако, воздерживается от прямых обвинений: во-первых, эти сигнатуры нельзя назвать однозначным доказательством, во-вторых, разработчики могли использовать вычислительные ресурсы, арендованные в другой стране.
Тем не менее, эксперты высоко оценивают результаты исследования.
«Я считаю доказательства довольно убедительными», — отмечает Кудитипуди.
Подход верный, но «хотелось бы увидеть технические детали, как это сделано», добавляет Омот.
Следы контрабандных чипов в весах моделей выявили уже и другие исследования, и, скорее всего, разработчики их подчистят, полагает ДеПью: «К сожалению, их довольно легко удалить».












