Необходимость делать некоторые компьютерные системы все мельче и мельче, а другие все крупнее и крупнее уже давно является движущей силой инноваций в электронике. Первое относится к ноутбукам, смартфонам, умным часам и прочей носимой электронике. Второе относится к современным коммерческим центрам обработки данных — монстрам, пожирающим мегаватты электричества и занимающим целые здания. Интересно, что одно и тоже устройство ограничивает прогресс в обеих областях, хотя и по разным причинам.
Эта новая технология называется кремниевой межкомпонентной сетью (мой вольный перевод термина silicon-interconnect fabric (Si-IF), при этом отлично отражающий его суть — прим. перев.), и она позволяет напрямую подключать «голые» процессорные кристаллы к разводке на отдельном куске кремния. В отличие от соединений на печатной плате, разводка между чипами на Si-IF так же мала, как и разводка внутри чипа. Таким образом, возможно создание гораздо большего числа соединений между чипами, и они позволят передавать данные быстрее, используя при этом меньше энергии.
Кремниевая межкомпонентная сеть предлагает также приятный бонус. Она — отличный способ забыть про большие, сложные и трудные в изготовлении системы на кристаллах (SoC), которые в настоящее время используют везде, от смартфонов до суперкомпьютеров. Вместо SoC разработчики могут использовать конгломерат более мелких, более простых в проектировании и изготовлении диэлетов (dielets, процессорных кристаллов с контактами ввода-вывода), тесно связанных между собой на Si-IF. Эта революция в области микросхем уже идет полным ходом: AMD, Intel, Nvidia и другие компании уже предлагают чиплеты, где несколько чипов работают на одной подложке. Кремниевая межкомпонентная сеть предлагает расширить эту технологию, поместив на одну кремниевую пластину всю системную плату.
Чтобы понять значение исключения из компьютеров печатной платы, рассмотрим, что происходит с типичным SoC. Благодаря закону Мура, кусок кремния площадью в 1 квадратный сантиметр может вместить практически все, что нужно для управления смартфоном. К сожалению, по ряду причин, которые в основном начинаются и заканчиваются печатной платой, этот кусочек кремния затем помещается в полимерную упаковку, которая может быть в 20 раз больше самого чипа.
Разница в размерах чипа и упаковки создает как минимум две проблемы. Во-первых, объем и вес упакованного чипа намного больше, чем у исходного куска кремния. Очевидно, что это серьезная проблема для тех устройств, которые должны быть маленькими, тонкими и легкими.
Во-вторых, если конечному оборудованию требуется несколько чипов, которые взаимодействуют друг с другом (а это есть в большинстве систем), то расстояние, которое должны пройти сигналы, увеличивается более чем в 10 раз по сравнению с размерами одиночного чипа. Эти расстояния являются узким местом по скорости, особенно если чипы обмениваются большим количеством данных. Это серьезная проблема для приложений, работающих с графикой, машинным обучением и прочими требовательными к объему данных задачами. Что еще хуже, чипы в упаковке сложно охлаждать — именно эта проблема ограничивает рост тепловыделения десктопных CPU последние десять лет.
Но если полимерная упаковка чипов создает такие проблемы, то почему бы просто не убрать ее? Увы — мешает сама суть печатной платы. Чип припаивается к ней с помощью специального припоя, который позволяет соединяться нужным контактам на нем и плате. Однако ограничения технологии пайки и учет возможных деформаций (как механических, так и тепловых) достаточно гибкой текстолитовой платы приводят к тому, что контакты могут находиться на расстоянии не менее 0.5 мм друг от друга — иными словами, вы получаете не более 400 соединений на квадратный сантиметр.
Однако это маловато для многих процессоров. Например, площади кристалла Intel Atom хватает лишь для 100 таких контактов — это серьезно меньше, чем необходимые ему для работы 600. В итоге инженерам приходится создавать «бутерброды»: сам кремниевый кристалл имеет контакты, разнесенные между собой на ~100 микрометров — это позволяет добиться нужных для него сотен или даже тысяч контактов на небольшой площади. После этого кристалл припаивается на жесткий и достаточно толстый кусок текстолита, который позволяет забыть о деформациях, и уже в нем происходит разводка этих контактов на расстояния в 0.5 мм, что позволяет припаивать такой «бутерброд» на материнскую плату.
В последнее время полупроводниковая индустрия стала активно переходить к чиплетам: типичным их представителем можно назвать процессоры AMD Ryzen 3000, где на одной подложке находится кристалл с контроллерами ввода-вывода вместе с парой процессорных кристаллов, включающих в себя еще и кэш. Это позволяет серьезно удешевить производство, но крайне негативно сказывается на задержках доступа, к тому же, как показывает практика, есть серьезные проблемы с охлаждением таких чиплетов.
Кремниевый кристалл сначала устанавливается на специальную подложку, и уже она контактирует с материнской платой.
Так что идея полностью отказаться от упаковки чипов и печатных плат, используя вместо этого общую достаточно толстую (от 500 мкм до 1 мм) кремниевую пластину, выглядит интересным решением. Процессоры, память, чипсеты, различные контроллеры, модули регулятора напряжения и даже пассивные компоненты, такие как катушки индуктивности и конденсаторы, могут быть подключены непосредственно к кремнию.
По сравнению с обычным материалом для печатных плат — композитом из стекловолокна и эпоксидной смолы под названием FR-4 — кремниевая пластина является жесткой и может быть отполирована до почти идеальной плоскостности, поэтому деформация больше не является проблемой. Более того, поскольку чипы и кремниевая подложка теперь состоят из одного материала, они расширяются при нагреве одинаково, так что между ними больше не нужен припой.
В качестве соединения чипа и пластины можно использовать медные столбики микрометрового масштаба, встроенные в кремниевую подложку. Используя термическое сжатие — которое в основном является результатом точного приложения нагрева и силы — медные контакты ввода-вывода чипов припаиваются к медным столбикам. Тщательная оптимизация термокомпрессионного соединения приводит к связи медь-медь, которая намного более надежна, чем паяные соединения, и требует меньшее количество материалов.
Устранение печатной платы и ее слабых сторон означает, что контакты ввода-вывода чипа должны быть разнесены на расстояние всего 10 мкм вместо прежних 500 мкм. Поэтому на той же площади теперь можно иметь в 2500 раз контактов больше.
Более того, можно использовать стандартные процессы производства полупроводников для создания нескольких слоев разводки на пластине Si-IF. К тому же если в печатной плате расстояние между дорожками должно быть не менее 500 мкм, то в случае с кремниевой межкомпонентной сетью оно может достигать 2 мкм. Это же позволяет снизить расстояния между чипами с нескольких миллиметров до сотни микрометров. В результате система, базирующаяся на Si-IF, экономит пространство и сокращает время, необходимое для передачи сигналов между чипами.
Кроме того, в отличие от печатных плат и полимерных упаковок, кремний является достаточно хорошим проводником тепла. Радиаторы могут быть установлены с обеих сторон пластины Si-IF для удаления большего количества тепла — эффективность может подняться на 70%, что позволит дальше увеличивать теплопакет CPU и их производительность.
Однако некоторые минусы тут есть. Во-первых, кремний обладает очень хорошей прочностью на растяжение и неплохой жесткостью, но он достаточно хрупкий. Конечно, за последние десятилетия полупроводниковая промышленность научилась изготавливать большие кремниевые пластины без разрушения, все еще текстолит в этом плане гораздо гибче. Так что Si-IF пластины в корпусах придется закреплять определенным образом на демпферах, чтобы не повредить.
Второй минус — стоимость кристаллического кремния существенно выше, чем у текстолита. Хотя на нее влияют многие факторы, стоимость квадратного миллиметра 8-слойной печатной платы составляет примерно одну десятую стоимости 4-слойной пластины Si-IF. Разумеется, стоит учитывать и то, что распайка чипов на текстолите отнюдь не бесплатна, так что конечная разница в цене может быть ниже, но она все еще достаточно значительна.
Сравнение Si-IF и современной платы с процессором.
Давайте рассмотрим несколько примеров того, как интеграция Si-IF может принести пользу компьютерной системе. В своем исследовании серверов авторы статьи обнаружили, что использование процессоров без упаковки на пластине Si-IF может удвоить производительность из-за более высокой скорости соединения и лучшего рассеивания тепла. Более того, размер кремниевой «печатной платы» будет в 2.5 раза меньше, 400 см2 против 1000 у традиционной текстолитовой. С другой стороны, они рассмотрели небольшую систему для интернета вещей, основанную на ARM-процессоре. Использование Si-IF здесь не только уменьшает размер платы на 70 процентов, но также уменьшает ее вес с 20 до 8 грамм.
Помимо сокращения существующих систем и повышения их производительности, Si-IF должен позволить инженерам создавать компьютеры, которые до этого были невозможны или, по крайней мере, крайне непрактичны.
Типичная высокопроизводительная серверная плата содержит от двух до четырех процессоров. Но нередко в одном сервере использует несколько плат (или даже несколько десятков). Разумеется, им приходится передавать между собой огромные объемы данных, так что резко всплывают проблемы задержек и пропускной способности каналов связи. Но что, если все процессоры были бы на одной пластине из кремния? Они могут быть интегрированы почти так же плотно, как если бы вся система была бы одним большим процессором.
Эта концепция была впервые предложена Джином Амдалем и его компанией Trilogy Systems. Увы — она провалилась, потому что современные производственные процессы не могут дать достаточное количество рабочих систем. Всегда есть вероятность дефекта, когда вы делаете чип, и она увеличивается экспоненциально с ростом его площади. И если ваш «чип» размером с обеденную тарелку, шанс дефекта может достигать 99%!
Но с кремниевой межкомпонентной сетью вы можете начать с чиплетов, которые, как мы уже знаем, можно изготовить без изъянов, а затем связать их в единую систему. Группа ученых из Университета Калифорнии в Лос-Анджелесе и Университета Иллинойса в Урбана-Шампейн разработала такую чиплетную систему, состоящую из 40 графических процессоров. При моделировании она ускорила вычисления более чем в пять раз и сократила энергопотребление на 80 процентов по сравнению с современным сервером, имеющим 40 аналогичных GPU.
Вот так выглядят отдельные диэлеты.
Это убедительные результаты, но задача не из легких. Пришлось принять во внимание ряд ограничений, в том числе то, сколько тепла может быть отведено от каждого кристалла, как графические процессоры могут наиболее быстро обмениваться данными друг с другом, и как обеспечить питанием всю плату Si-IF.
Питание оказалась основным препятствием. При стандартном для GPU напряжении в 1 В вся кремниевая пластина потребляла бы целых 2 кВт. Вместо этого было решено повысить напряжение питания до 12 В, тем самым снизив ток и, следовательно, потребляемую мощность. Это решение требовало распределения стабилизаторов напряжения и конденсаторов для формирования сигнала по всей пластине — а они занимали место, которое можно было бы выделить под большее количество GPU. Но все же, воодушевленные полученными результатами, ученые планируют создать опытный образец вычислительной системы на основе Si-IF к концу 2020 года.
Кремниевая межкомпонентная сеть может сыграть важную роль в современной тенденции компьютерной индустрии: переходе от SoC к чиплетам. За последние два десятилетия стремление к повышению производительности и снижению затрат вынудило инженеров заменять целые наборы микросхем на все более крупные SoC. Несмотря на все их преимущества, у систем на кристалле есть много недостатков.
Диэлеты в масштабе.
С одной стороны, SoC — это один большой чип, а, как уже упоминалось, чем больше кристалл, тем больше брака при их производстве. Другим недостатком SoC является их высокая разовая стоимость проектирования и изготовления — порядка 2 млн долларов для простейшего ARM-процессора с учетом производства фотолитографических масок, что делает создание кристаллов уделом небольшого количества крупных компаний.
Более того, любое изменение в дизайне или модернизация производственного процесса, даже небольшая, требует существенного изменения всей SoC. Наконец, такой подход пытается принудительно вписать все подсистемы в один производственный процесс, даже если некоторые из этих подсистем будут работать лучше, если они будут сделаны с использованием другого процесса. В результате ничто внутри SoC не достигает своей максимальной производительности или эффективности.
Подход Si-IF позволяет избежать всех этих проблем, сохраняя при этом преимущества небольшого размера и производительности SoC, а также обеспечивает гибкость при создании конечных решений. Он разбивает SoC на составляющие его системы и воссоздает ее как систему на пластине или систему на Si-IF (SoIF).
Такая система составлена из независимо изготовленных небольших диэлетов, которые связаны друг с другом благодаря Si-IF. Минимальное расстояние между диэлетами (меньше сотни микрометров) сравнимо с расстоянием между двумя функциональными блоками в SoC. Разводка в Si-IF такая же, как и у SoC, поэтому плотность межсоединений также сопоставима.
Преимущества подхода SoIF по сравнению с SoC опять же идут из-за разницы в размерах кремниевых кристаллов. Маленькие диэлеты дешевле в изготовлении, чем большие SoC, потому что, как уже упоминалось ранее, вы получаете более высокий выход рабочих кристаллов, когда они маленькие. Единственное, что имеет большое значение в SoIF — это сама кремниевая подложка. Однако едва ли с ней будут проблемы в производстве, потому что по сути она представляет собой кусок кремния с несколькими токопроводящими слоями. Большая часть брака при изготовлении кремниевых кристаллов происходит из-за дефектов в транзисторных слоях, а в кремниевой межкомпонентной сети их нет.
Кроме того, SoIF будет иметь все преимущества, которые ищет индустрия, переходя на чиплеты. Например, можно будет легко заменить один диэлет на другой, не меняя общую структуру SoIF. Внутри одного SoIF могут быть диэлеты, построенные на разных техпроцессах и даже из разных полупроводниковых материалов — в случае с SoC это просто невозможно.
Поскольку диэлеты будут изготовлены и испытаны до их подключения к определенной SoIF, они могут использоваться в различных системах, что значительно снижает их конечную стоимость. В результате общая стоимость проектирования и изготовления SoIF может быть на 70 процентов ниже, чем у SoC. Это особенно «вкусно» для узкоспециализированных систем, где спрос составляет всего сотни или тысячи устройств, потому что сейчас производство для них специальных SoC нередко оказывается крайне невыгодным.
В основном от массового производства SoIF нас отделяют чисто технические проблемы. Большинство литографических масок, используемых сегодня, могут создавать кристаллы размером всего около 33 на 24 мм. В конечном итоге потребуются приборы, способные вытравливать пластины диаметром в 30 см. Также понадобятся механизмы для тестирования голых диэлетов, а также пустых Si-IF.
Задержки, энергопотребление и пропускная способность при разных способах объединения CPU.
В дальнейшем придется разрабатывать абсолютно новые системы охлаждения, учитывающие высокую теплопроводность кремния и важное условие, заключающееся в отводе тепла с обеих сторон пластины. Кроме того, придется разрабатывать новые крепления, разъемы и кабели для подключения внешних устройств и обеспечения питания всей Si-IF.
Также нужно будет внести несколько изменений в методологию проектирования чипов для SoIF. Si-IF представляет собой пассивную подложку — это просто набор проводников, без транзисторов, поэтому междиэлетные соединения должны быть короткими. Для более длинных соединений, которые могут связывать вместе все диэлеты на кремниевой пластине, понадобятся промежуточные диэлеты для маршрутизации. При этом не стоит забывать, что вся система должна поддерживать возможность апгрейда без серьезной переделки.
Также необходимо учитывать надежность системы. Если после припаивания будет обнаружен дефектный диэлет или он выйдет из строя во время работы, его может быть непросто заменить. Следовательно, SoIF, особенно большие, должны иметь встроенную отказоустойчивость. Отказоустойчивость придется реализовывать и на уровне маршрутизации, и на уровне пластины Si-IF. Маршрутизация должна быть устроена таким образом, чтобы при желании можно было обойти неисправные диэлеты. На уровне пластины можно рассмотреть сценарий избыточности: например, дублирование критично важных диэлетов или хотя бы важных контактов ввода-вывода.
Еще одной важной проблемой при проектировании SoIF является правильное размещение диэлетов. Ведь в любом случае, если их с десяток, не получится разместить все их рядом друг с другом, поэтому придется совмещать вместе те, которые на современных платах или SoC «любят» физическую близость: например, вычислительные блоки лучше держать ближе к ОЗУ, да и GPU задвигать в дальний угол от них не стоит. А вот накопитель вполне себе можно отдалить, ибо задержка доступа к нему в несколько десятков миллисекунд роли не играет.
В итоге SoIF выглядит неплохой заменой SoC — по крайней мере, ее плюсы стоят того, чтобы решать возникающие проблемы. Так что вполне может быть так, что через несколько лет благодаря им произойдет глобальный скачек производительности, и закон Мура снова начнет выполняться.
