NVIDIA KVPress: как сжать память для длинных контекстов в ИИ
NVIDIA KVPress сокращает потребление памяти LLM на 50% и ускоряет генерацию текста с 11 до 17 токенов в секунду. Узнайте, как работать с длинными контекстами без дорогого оборудования.
Одна лента, одна логика
Все материалы по времени публикации. Новые всегда сверху.
NVIDIA KVPress сокращает потребление памяти LLM на 50% и ускоряет генерацию текста с 11 до 17 токенов в секунду. Узнайте, как работать с длинными контекстами без дорогого оборудования.
Hugging Face TGI теперь поддерживает TensorRT-LLM, vLLM, llama.cpp, AWS Neuron и Google TPU через единый интерфейс. Узнайте, как это упрощает развертывание LLM, снижает затраты и ускоряет вывод продуктов на рынок.
TimmWrapper объединяет библиотеки timm и Hugging Face Transformers: запускайте сотни архитектур для компьютерного зрения через Pipeline API, дообучайте их с Trainer API и LoRA, сокращайте размер модели до 74% и создавайте демо с …
Малайзия разрабатывает охлаждающую жидкость Sawit EcoTherm на основе пальмового масла для иммерсионного охлаждения серверов. Узнайте, как это снизит энергопотребление дата-центров и какие экологические вопросы возникают.
Hugging Face и FriendliAI упростили запуск генеративного ИИ: кнопка Deploy this model, GPU NVIDIA H100 и технологии ускорения вывода. Разбираем, как развернуть модель в один клик и какие преимущества это дает разработчикам.
Google объявил о партнёрстве с Arsenal, Barcelona, Bayern München, Liverpool и PSG. Gemini станет официальным ИИ, Pixel — официальным смартфоном. Узнайте, как это изменит опыт болельщиков и что уже доступно владельцам Pixel 11.
Anthropic признала, что фильтр запросов о биооружии не работал почти год. 50 000 подрядчиков провели 133 млн взаимодействий без защиты. Узнайте, почему это произошло и какие меры приняла компания.
OpenAI закрыла команду Preparedness, которая оценивала катастрофические риски ИИ. Ушли ключевые специалисты, включая главу по этике. Разбираем, какие угрозы это создаёт для пользователей и всей индустрии.
Исследования показывают: 95% сотрудников используют ИИ неправильно, что ведёт к убыткам. Узнайте, какие навыки нужны, чтобы нейросети увеличивали прибыль, а не снижали её.
Калифорния выдала разрешения на тестирование беспилотных грузовиков компаниям Aurora и Kodiak. Разбираем условия эксперимента, иск профсоюза Teamsters и экономические последствия для рынка труда.
Учёные Google обнаружили: если обучить чат-бота отрицать собственное сознание, он начинает приписывать внутренний мир животным и объектам, а также чаще говорить о вере в Бога. Разбираем, почему запрет на рефлексию меняет мировозз…
Stripe покупает OpenRouter за более чем $7 млрд — разбираем, что это за платформа, почему сделка важна для рынка ИИ и как она повлияет на пользователей и разработчиков.