Нещодавно ChatGPT став новою гарячою точкою для штучного інтелекту, оскільки Microsoft і Google у Кремнієвій долині вкладають значні кошти в таку технологію (Microsoft має 10 мільярдів доларів в OpenAI, компанії, що стоїть за ChatGPT, і Google нещодавно випустила власну модель BARD), в той час як компанії інтернет-технологій у Китаї, представлені Baidu та іншими, також зазначили, що вони розробляють таку технологію та запустять її найближчим часом. У Китаї Baidu та інші компанії з Інтернет-технологій також зазначили, що вони розробляють такі технології та запустять їх найближчим часом.
Генеративні моделі, представлені ChatGPT, мають спільну рису, тобто вони використовують масивні дані для попереднього навчання та часто поєднуються з більш потужною мовною моделлю. Основна функція мовної моделі полягає в тому, щоб вивчати масивний існуючий корпус, і після навчання вона може розуміти лінгвістичні інструкції користувача або, крім того, генерувати релевантний вихідний текст відповідно до інструкцій користувача.
Генеративні моделі можна загалом класифікувати на дві категорії: одна – це генеративні моделі на основі мови, а інша – генеративні моделі на основі зображень. Основані на мові генеративні моделі представлені ChatGPT, чия мовна модель може не лише навчитися розуміти значення команд користувача (наприклад, «напишіть вірш у стилі Лі Бая»), а й генерувати відповідний текст на основі користувача команди після навчання з масивними даними (у наведеному вище прикладі написання вірша в стилі Лі Бая). вірш). Це означає, що ChatGPT повинна мати велику мовну модель (LLM), яка розуміє мову користувача та може створювати високоякісний мовний вихід - наприклад, модель повинна розуміти, як генерувати вірші, як генерувати вірші в стилі Лі Бая , і так далі. Це також означає, що великі мовні моделі в генеруючому штучному інтелекті на основі мови вимагають дуже великої кількості параметрів, щоб виконувати таке складне навчання та запам’ятовувати стільки інформації. ChatGPT, наприклад, має 175 мільярдів параметрів (700 ГБ місця для зберігання, якщо використовуються стандартні числа з плаваючою комою), що показує, наскільки «великою» є його мовна модель.
Іншим класом генеративних моделей є модель генерації зображень, представлена Diffusion, зазвичай Dalle від OpenAI, ImaGen від Google і наразі найпопулярніша Stable Diffusion від Runway AI. Ці моделі створення зображень також використовують мовну модель для розуміння лінгвістичних команд користувача, а потім генерують високоякісні зображення на основі цих команд. На відміну від генеративних моделей на основі мови, мовна модель, яка використовується тут, переважно використовує мову для розуміння введення користувача без створення мовного виводу, тому кількість параметрів може бути досить малою (порядку кількох сотень мільйонів), тоді як кількість параметрів для дифузійних моделей на основі зображень є відносно невеликим, порядку кількох мільярдів загалом, але обчислювальні зусилля не є малими, оскільки роздільна здатність згенерованих зображень або відео може бути дуже високою.
Генеративні моделі можуть створювати безпрецедентно високу якість результатів завдяки масштабному навчанню даних, і вже існує низка чітких ринків додатків, включаючи пошук, діалогові боти, генерацію та редагування зображень тощо. У майбутньому очікується більше додатків, що також підвищує попит на пов'язані мікросхеми.
Потреба в мікросхемах для генерації моделей класів
Як згадувалося раніше, ChatGPT представляє генеративну модель, яка потребує вивчення великої кількості навчальних даних, щоб досягти високоякісного генеративного результату. Для підтримки ефективного навчання та логічного висновку генеративні моделі мають власні вимоги до відповідних чіпів.
По-перше, це потреба в розподілених обчисленнях; кількість параметрів для генеративних моделей мови, таких як ChatGPT, обчислюється сотнями мільярдів, і майже неможливо використовувати навчання та висновки на одному комп’ютері, але потрібно використовувати багато розподілених обчислень. У розподілених обчисленнях пропускна здатність з’єднання даних між машинами та обчислювальним чіпом для таких розподілених обчислень (таких як RDMA) має великий попит, оскільки часто вузьке місце завдання може бути не в обчисленні, а у з’єднанні даних вище, особливо в для цього виду великомасштабних розподілених обчислень чіп для ефективної підтримки розподілених обчислень став більш критичним.
Далі – об’єм пам’яті та пропускна здатність. Хоча розподілене навчання та висновок неминучі для генеративних моделей на основі мови, локальна пам’ять і пропускна здатність кожного чіпа значною мірою визначатимуть ефективність виконання окремого чіпа (оскільки пам’ять кожного чіпа використовується до межі). Для генеративних моделей на основі зображень можна розмістити всі моделі (близько 20 ГБ) у пам’яті чіпа, але оскільки генеративні моделі на основі зображень розвиватимуться далі в майбутньому, ймовірно, що потреби в пам’яті також зростуть. . З цієї точки зору технологія пам’яті надвисокої пропускної здатності, представлена HBM, стане неминучим вибором для відповідних чіпів-прискорювачів, тоді як моделі генеративного класу також прискорять пам’ять HBM для подальшого збільшення ємності та пропускної здатності. На додаток до HBM, нові технології зберігання, такі як CXL у поєднанні з оптимізацією програмного забезпечення, також матимуть потенціал для збільшення ємності та продуктивності локального зберігання в таких програмах і, за оцінками, отримають більше промислового впровадження завдяки зростанню моделі генеративного класу.
Нарешті, обчислення, моделі генеративних класів як на основі мови, так і на основі зображень мають великий обчислювальний попит, а генеративні моделі на основі зображень можуть мати набагато більший попит на арифметичну потужність, оскільки вони генерують все більш високу роздільну здатність і рухаються до відеозастосунків - поточний Основні моделі створення зображень мають обчислювальний обсяг близько 20 TFLOPS, а щодо високої роздільної здатності та зображень 100-1000 TFLOPS арифметичного попиту, ймовірно, буде нормою.
Підводячи підсумок, ми вважаємо, що вимоги генеративних моделей для чіпів включають розподілені обчислення, зберігання та обчислення, які, можна сказати, охоплюють усі аспекти дизайну чіпів, і, що більш важливо, як об’єднати всі ці вимоги в розумний спосіб. щоб гарантувати, що окремий аспект не стане вузьким місцем, яке також стане інженерною проблемою системи розробки мікросхем.
Графічний процесор і новий чіп AI, у кого більше шансів
У генеративних моделей новий попит на мікросхеми. Хто має кращі шанси захопити цей новий попит і ринок графічних процесорів (представлених Nvidia та AMD) і нових мікросхем AI (представлених Habana, GraphCore)?
По-перше, з точки зору генеративних моделей на основі мови, постачальники графічних процесорів, які наразі мають повний макет у такому типі екології, є більш вигідними через величезну кількість учасників і потребу в хорошій підтримці розподілених обчислень. Це проблема системної інженерії, яка потребує повного програмного та апаратного рішення, і в зв’язку з цим Nvidia об’єднала свої графічні процесори, щоб запустити рішення Triton, яке підтримує розподілене навчання та розподілений висновок, що дозволяє розділити модель на кілька частин і обробляти на різних графічних процесорах, таким чином вирішуючи проблему занадто великої кількості параметрів, які не можуть бути прийняті в основну пам’ять одного графічного процесора. Це вирішує проблему занадто великої кількості параметрів для основної пам’яті одного GPU. Незалежно від того, використовуєте ви Triton напряму або займаєтеся подальшими розробками на основі Triton у майбутньому, зручніше мати повний екологічний GPU. З обчислювальної точки зору, оскільки основним обчисленням моделі генерації на основі мови є матричне обчислення, яке є сильною стороною графічного процесора, новий чіп AI не має очевидної переваги перед графічним процесором з цієї точки зору.
З точки зору моделей генерації на основі зображень, кількість параметрів таких моделей також велика, але на один-два порядки менша, ніж у моделях генерації на основі мови, крім того, його обчислення все ще використовуватиметься у великих кількість згорткових обчислень, тож програми логічного висновку, якщо ви можете зробити дуже хорошу оптимізацію, мікросхеми AI можуть мати деякі можливості. Тут оптимізація включає великий обсяг пам’яті на кристалі для розміщення параметрів і проміжних результатів обчислень, для згортки та ефективної підтримки матричних операцій.
Загалом, нинішнє покоління чіпів штучного інтелекту розроблено для менших моделей (кількість параметрів на рівні мільярда, обчислення на рівні 1TOPS), тоді як попит на генеративні моделі все ще відносно більший, ніж початкова мета проекту. Графічні процесори розроблені, щоб бути більш гнучкими за рахунок ефективності, тоді як мікросхеми штучного інтелекту розроблені, щоб робити навпаки, переслідуючи ефективність цільової програми. Таким чином, ми вважаємо, що графічні процесори все ще домінуватимуть у такому прискоренні генеративної моделі в наступні рік-два, але оскільки проекти генеративних моделей стають більш стабільними, а конструкції чіпів AI мають час, щоб наздогнати ітерації генеративних моделей, чіпи AI мають можливість перевершити графічні процесори. у просторі генеративної моделі з точки зору ефективності.

