Джон Кармак предлагает альтернативу DRAM для нейросетей

Джон Кармак, основатель ИИ-стартапа Keen Technologies и создатель игры Doom, озвучил нестандартный подход к замене DRAM для инференса нейросетей. Он предлагает использовать оптоволоконные петли для хранения весов моделей, где данные циркулируют в виде световых импульсов. Согласно его оценкам, скорости передачи данных до 256 Тб/с на расстоянии 200 км по одномодовому волокну могут обеспечить 32 ГБ «бесплатных» данных с пропускной способностью в 32 ТБ/с. Кармак отметил, что при инференсе паттерны обращения к весам являются детерминированными, позволяя непрерывную подачу данных из кольца в кэш L2 процессора, полностью исключая необходимость в DRAM. Более того, идею он сравнил с ртутными линиями задержки 1940-х, где данные также хранились в виде акустических импульсов. Он также упомянул, что для моделей с триллионом параметров потребуется много таких петель. Однако с ростом пропускной способности оптоволокна, этот подход может стать жизнеспособным. В качестве альтернативы Кармак предлагает использовать недорогие флеш-чипы, которые могли бы обеспечить необходимую производительность с помощью высокоскоростного интерфейса. За два дня его пост собрал 1,3 миллиона просмотров, что подчеркивает растущий интерес к новым архитектурам памяти на фоне дефицита HBM-памяти.