Корпорация Google официально представила инновационный алгоритм сжатия данных под названием TurboQuant. Данная технология разработана специалистами подразделения Google Research для существенного снижения потребления памяти в больших языковых моделях и векторных поисковых системах. Инструмент решает проблему узких мест в кэше ключ-значение, работая в связке с алгоритмами PolarQuant и Quantized Johnson-Lindenstrauss (сокращенно QJL).
Тестирование технологии на открытых языковых моделях Gemma, Mistral и Llama-3.1-8B-Instruct показало впечатляющие результаты. В бенчмарках LongBench, Needle In A Haystack, ZeroSCROLLS, RULER и L-Eval алгоритм TurboQuant добился сокращения размера памяти в 6 раз без потери точности. На серверных графических ускорителях H100 зафиксирован 8-кратный прирост производительности вычислений по сравнению с использованием неквантованных ключей.
Финансовые рынки отреагировали на программный анонс резким падением котировок крупных производителей компьютерной памяти. По данным портала Investing.com, на фоне роста индекса Nasdaq 100 акции SanDisk Corporation упали на 5,7%, а бумаги Western Digital просели на 4,7%. Активы компаний Micron Technology и Seagate Technology также снизились на 3% и 4% соответственно из-за опасений инвесторов о грядущем падении спроса на оборудование.
>>19334399 (OP) Ну да ну да, верим же, мужики? Не может же быть так, что кабан кабаныч понял, что быдло не хочет покупать оперативку в 4 цены. Не может же?
Мужчин, депортированных из США, сразу же отправили в ТЦК и на фронт, — CNN
В ноябре ICE депортировала из США 50 украинцев (45 мужчин и 5 женщин). Из 45 мужчин 24 были объявлены в розыск и сразу переданы полиции для доставки в ТЦК.
>>19334433 Так Гугл же сам закупает оперативку, уменьшили в том числе и свои затраты. А вот производители теперь наверное в суд подадут за недополученную прибыль
>>19334399 (OP) Ни хрена в этом не понимаю, но как-то не совсем четко проговорено самое главное, - сколько теперь нужно будет памяти для ЛЛМок по сравнению с ранее требовавшийся? С чем сравнивали? Сейчас, тоже, всякие ГГУФы могут требовать в разы меньше оригинального формата. Что они брали за образец? Там ведь какие-то BF16 и еще разные могут быть в качестве оригинала. Простым языком кто-то может пояснить? На сколько примерно реальный выигрыш?
>>19334503 Помню этого шиза. Ну там суть сводилась к тому что нужно хранить огромные словари (вавилонская библиотека) и вместо самих данных передавать ссылки на данные в словарях. Для юзеров не особо, а вот для передачи данных между дц которые могут зранить сотни терабайт словарей вполне себе
>>19334399 (OP) >Технология обрушила Гугл и без всяких технологий может обрушивать эти акции манипулируя акциями. Скорее всего так и было сделано, чтобы придать вес своей технологии в глазах быдла, мол, смотрите, аж акции обрушились. Они пизданулись, глядите!
>>19334503 >бесконечное сжатие >>19334526 >сводилась к тому что нужно хранить огромные словари >>19334563 >Идея так то приставив палец к носу нормально вроде выглядела >>19334852 >1ТБ словаря хватит буквально на все
Сука с кем я сижу!? Да похуй какой у вас словарь, если у тебя данные абсолютно рандомные, то указатели на значения в словаре будут в сумме весить как минимум столько же сколько и сами значения. Я даже в универе эту хуйню не проходил, чисто на досуге изучил матчасть. Вбейте в свою башку: данные со 100% энтропией не сжать не на бит! А сжатие до ~100% энтропии могут производить и обычные архиваторы.
Тестирование технологии на открытых языковых моделях Gemma, Mistral и Llama-3.1-8B-Instruct показало впечатляющие результаты. В бенчмарках LongBench, Needle In A Haystack, ZeroSCROLLS, RULER и L-Eval алгоритм TurboQuant добился сокращения размера памяти в 6 раз без потери точности. На серверных графических ускорителях H100 зафиксирован 8-кратный прирост производительности вычислений по сравнению с использованием неквантованных ключей.
Финансовые рынки отреагировали на программный анонс резким падением котировок крупных производителей компьютерной памяти. По данным портала Investing.com, на фоне роста индекса Nasdaq 100 акции SanDisk Corporation упали на 5,7%, а бумаги Western Digital просели на 4,7%. Активы компаний Micron Technology и Seagate Technology также снизились на 3% и 4% соответственно из-за опасений инвесторов о грядущем падении спроса на оборудование.
https://gamegpu.com/news/zhelezo/tekhnologiya-szhatiya-turboquan-obrushila-aktsii-proizvoditelej-dram