Малый бизнес
Несколько карт, приложения одной команды.
$3,290/мес сгорает без TorqHUB
$2,680/мес возвращается с TorqHUB
На 3 GPU объединение возвращает примерно 2 простаивающие машины.
Хватит платить за простаивающее железо
Ваши GPU забронированы круглосуточно, а работают лишь малую часть этого времени. TorqHUB направляет нагрузку на те машины, которые реально могут её взять.
Ваши мощности — это в основном воздух
Забронированы круглосуточно. Работают, скажем, 18% времени. Счёт приходит за все 100%.
Счёт за 100%
Расходы на простой в месяц $33,696 Иллюстративно: забронировано 10 стоек, загрузка 18%.
Столбчатая диаграмма: десять GPU-стоек. Две считают — они синие. Восемь простаивают — они серые. Коралловая линия через все десять показывает полную сумму, которую вы платите. Цифры иллюстративные, реальная загрузка бывает разной.
Занято Используется
Задача держит карту восемь часов, а считает сорок минут. Карта занята. Не происходит ничего.
Занятость
Какая часть каждой забронированной GPU действительно работает. Подвигайте и почувствуйте разрыв.
18%
Ползунок полезной загрузки. Текущее значение — 18 процентов забронированной мощности. Диапазон от 5 до 60 процентов. Меняйте стрелками влево и вправо с шагом в один процент.
Во что это обходится
Подвигайте ползунки. Это те деньги, которые превращаются в тепло и больше ни во что.
Во сколько обходится ожидание
Забронированные GPU жгут деньги каждый час простоя. Поменяйте парк, а потом подвигайте ползунок занятости и смотрите, как сходится разрыв.
Полезная загрузка 18% Задаётся ползунком занятости выше.
Расходы на простой в месяц
Расходы на простой в год меньше одного инженера в год
Ожидаемые расходы на простой: $9,578 в месяц, $114,931 в год при полезной загрузке 18 процентов. меньше одного инженера в год. Цифры иллюстративные.
Каждая задача находит подходящую GPU
Разные задачи, разные формы, разные машины. Щёлкните переключателем и смотрите, как исчезают дыры.
ВЫКЛ — задачи закреплены за своими GPU
- ГОТОВО
- 64
- ЗАГРУЗКА
- 29%
- ОЧЕРЕДЬ
- 36
- GPU
- 3
ВКЛ — брокер TorqHUB и эластичный пул
- ГОТОВО
- 129
- ЗАГРУЗКА
- 16%
- ОЧЕРЕДЬ
- 5
- GPU
- 3
Тот же воздух, на любом масштабе
Хоть небольшая студия, хоть целый датацентр — типичный парк работает примерно на 18%: забронирован круглосуточно, а занят малую долю времени. Вот сколько сгорает в месяц без TorqHUB и сколько возвращает объединение мощностей.
Средний бизнес
Комната GPU, десяток продуктов.
$9,280/мес сгорает без TorqHUB
$8,490/мес возвращается с TorqHUB
На 8 GPU объединение возвращает примерно 6 простаивающих машин.
Крупный бизнес
Полная стойка датацентрового масштаба.
$32,920/мес сгорает без TorqHUB
$30,780/мес возвращается с TorqHUB
На 30 GPU объединение возвращает примерно 23 простаивающие машины.
Иллюстративно: посчитано по той же модели консолидации, что и живой планировщик выше, и не является коммерческим предложением. Загрузку и стоимость GPU можно поменять в конфиге.
Экономика за месяц на трёх масштабах бизнеса, все при типичной загрузке 18%. Малый бизнес, 3 GPU: около $3,290 в месяц сгорает на простаивающем железе без TorqHUB, около $2,680 в месяц возвращается за счёт объединения — примерно 2 простаивающие машины. Средний бизнес, 8 GPU: около $9,280 в месяц сгорает на простаивающем железе без TorqHUB, около $8,490 в месяц возвращается за счёт объединения — примерно 6 простаивающих машин. Крупный бизнес, 30 GPU: около $32,920 в месяц сгорает на простаивающем железе без TorqHUB, около $30,780 в месяц возвращается за счёт объединения — примерно 23 простаивающие машины. Демонстрационные цифры по той же модели, что и живой планировщик; это не коммерческое предложение.
Один токен SDK. Масштаб без границ.
Вы пишете логику. Мы раскладываем вычисления.
- 01
Установить
Один пакет, один токен. Ни кластера поднимать, ни брокера настраивать.
- 02
Отправить
Отправьте задачу с её типом и данными. TorqHUB доставит её на подходящую GPU.
- 03
Масштабировать
Отправляйте сотнями, опрашивайте или дожидайтесь результата. Дыры в расписании закроет роутер.
import { TorqClient } from '@torq/sdk'
const torq = new TorqClient({
token: process.env.TORQ_TOKEN,
})
// submit a job — the router picks the GPU that fits
const job = await torq.jobs.submit('llm-70b', {
model: 'meta-llama/Llama-3-70B',
prompt: 'Summarize this transcript…',
})
// wait for the result (or poll, or batch to hundreds)
const result = await torq.jobs.wait(job.id)Сеть, которая уже работает
Мощности там, где работа. Роутер видит каждый узел и каждую дыру.
Одна GPU, использованная полностью
Одна карта — локальная, у вас на столе, полностью приватная. TorqHUB выстраивает очередь и сам загружает и выгружает модели, поэтому даже единственная GPU остаётся занята, а не простаивает между задачами.
12 Регионы
8.4K Воркеры
24 Типы задач
Одна GPU, использованная полностью
Даже одна карта — локальная, на своём железе, полностью приватная. TorqHUB выстраивает очередь и сам загружает и выгружает модели, поэтому единственная GPU работает ровно, а не простаивает между задачами.
Приватная корпоративная сеть
Соберите GPU, которые у вас уже есть, в закрытую внутреннюю сеть. TorqHUB перераспределяет вычисления по парку внутри вашего периметра: ваши задачи, ваши машины, наружу не уходит ничего.
Публичная краудсорсинговая сеть
Или подключитесь к общему пулу: арендуйте мощности по требованию либо отдайте в сеть свои простаивающие карты и зарабатывайте. Роутер доставит задачу туда, где свободна подходящая GPU.
Сеть узлов: центральный роутер TorqHUB, соединённый с GPU-воркерами в разных регионах. Цифры масштаба иллюстративные. TorqHUB работает двумя способами: как публичная краудсорсинговая сеть вычислений или как приватное развёртывание внутри ваших корпоративных систем — напишите нам за деталями.
ХВАТИТ АРЕНДОВАТЬ ВОЗДУХ
Расскажите, что вам нужно. Вернёмся с доступом, мощностями или презентацией.