Сохранен 35
https://2ch.su/news/res/19334399.html
К сожалению, значительная часть сохранённых до 2024 г. изображений и видео была потеряна (подробности случившегося). Мы призываем всех неравнодушных помочь нам с восстановлением утраченного контента!

Технология сжатия TurboQuan обрушила акции производителей DRAM

 Аноним 27/03/26 Птн 14:04:17 #1 №19334399     RRRAGE! 6 
Quantization-2.width-1250gamegpu.webp
Корпорация Google официально представила инновационный алгоритм сжатия данных под названием TurboQuant. Данная технология разработана специалистами подразделения Google Research для существенного снижения потребления памяти в больших языковых моделях и векторных поисковых системах. Инструмент решает проблему узких мест в кэше ключ-значение, работая в связке с алгоритмами PolarQuant и Quantized Johnson-Lindenstrauss (сокращенно QJL).

Тестирование технологии на открытых языковых моделях Gemma, Mistral и Llama-3.1-8B-Instruct показало впечатляющие результаты. В бенчмарках LongBench, Needle In A Haystack, ZeroSCROLLS, RULER и L-Eval алгоритм TurboQuant добился сокращения размера памяти в 6 раз без потери точности. На серверных графических ускорителях H100 зафиксирован 8-кратный прирост производительности вычислений по сравнению с использованием неквантованных ключей.

Финансовые рынки отреагировали на программный анонс резким падением котировок крупных производителей компьютерной памяти. По данным портала Investing.com, на фоне роста индекса Nasdaq 100 акции SanDisk Corporation упали на 5,7%, а бумаги Western Digital просели на 4,7%. Активы компаний Micron Technology и Seagate Technology также снизились на 3% и 4% соответственно из-за опасений инвесторов о грядущем падении спроса на оборудование.

https://gamegpu.com/news/zhelezo/tekhnologiya-szhatiya-turboquan-obrushila-aktsii-proizvoditelej-dram
Аноним 27/03/26 Птн 14:18:27 #2 №19334433     RRRAGE! 8 
>>19334399 (OP)
Ну да ну да, верим же, мужики? Не может же быть так, что кабан кабаныч понял, что быдло не хочет покупать оперативку в 4 цены. Не может же?
Аноним 27/03/26 Птн 14:19:40 #3 №19334435     RRRAGE! 0 
>>19334399 (OP)
че там, ценнники уже попадали?
Аноним 27/03/26 Птн 14:20:35 #4 №19334438     RRRAGE! 0 
image.png
>>19334399 (OP)
>Технология сжатия TurboQuan обрушила акции производителей DRAM
Аноним 27/03/26 Птн 14:21:18 #5 №19334440     RRRAGE! 3 
>>19334399 (OP)
Технология сжатия TurboSvin
обрушила акции и цены проводников к Тисе.
Аноним 27/03/26 Птн 14:22:07 #6 №19334441     RRRAGE! 5 
Мужчин, депортированных из США, сразу же отправили в ТЦК и на фронт, — CNN

В ноябре ICE депортировала из США 50 украинцев (45 мужчин и 5 женщин). Из 45 мужчин 24 были объявлены в розыск и сразу переданы полиции для доставки в ТЦК.
Аноним 27/03/26 Птн 14:26:12 #7 №19334448     RRRAGE! 1 
>>19334441
Сынок, америка всегда предаст.
Аноним 27/03/26 Птн 14:26:38 #8 №19334450     RRRAGE! 0 
>>19334448
>америка всегда предаст
Хохол всегла педераст.
Аноним 27/03/26 Птн 14:27:22 #9 №19334453     RRRAGE! 1 
>>19334440
Технология сжатия должна называться TurboShakal.
Аноним 27/03/26 Птн 14:30:43 #10 №19334459     RRRAGE! 0 
>>19334433
Так Гугл же сам закупает оперативку, уменьшили в том числе и свои затраты. А вот производители теперь наверное в суд подадут за недополученную прибыль
Аноним 27/03/26 Птн 14:33:55 #11 №19334475     RRRAGE! 0 
>>19334459
Скорее железо уже не растёт. Закон Мура умер. Приходится заниматься оптимизацией.
Аноним 27/03/26 Птн 14:37:48 #12 №19334493 
>>19334399 (OP)
Ни хрена в этом не понимаю, но как-то не совсем четко проговорено самое главное, - сколько теперь нужно будет памяти для ЛЛМок по сравнению с ранее требовавшийся?
С чем сравнивали? Сейчас, тоже, всякие ГГУФы могут требовать в разы меньше оригинального формата. Что они брали за образец? Там ведь какие-то BF16 и еще разные могут быть в качестве оригинала.
Простым языком кто-то может пояснить? На сколько примерно реальный выигрыш?
Аноним 27/03/26 Птн 14:40:22 #13 №19334503     RRRAGE! 0 
Хуйня. На дваче анон изобретал бесконечное сжатие.
Аноним 27/03/26 Птн 14:47:29 #14 №19334526     RRRAGE! 0 
>>19334503
Помню этого шиза. Ну там суть сводилась к тому что нужно хранить огромные словари (вавилонская библиотека) и вместо самих данных передавать ссылки на данные в словарях. Для юзеров не особо, а вот для передачи данных между дц которые могут зранить сотни терабайт словарей вполне себе
Аноним 27/03/26 Птн 14:51:16 #15 №19334548     RRRAGE! 0 
>>19334493
Это для увеличения размера контекста. Если модель или квантизация не влезали в твою карточку, они так и не будут влезать.
Аноним 27/03/26 Птн 14:53:36 #16 №19334563 
>>19334526
Так вроде ж в какой то универ для тестов отправлял он?Идея так то приставив палец к носу нормально вроде выглядела.
Аноним 27/03/26 Птн 14:54:36 #17 №19334570 
>>19334548
Спасибо. Вот теперь понятно о чем речь.
Аноним 27/03/26 Птн 15:03:59 #18 №19334616     RRRAGE! 0 
>>19334493
Для обычных консьюмеров изменится нихуя. Если у тебч большой ии датацентр - сможешь экономить прилично шекелей
Аноним 27/03/26 Птн 15:08:30 #19 №19334632     RRRAGE! 0 
>>19334616
Понял.
А я уже размечтался, что даже на мобилках можно будет запускать нечто сейчас в них никак не влезающее.
Аноним 27/03/26 Птн 15:12:12 #20 №19334648     RRRAGE! 0 
>>19334399 (OP)
>Технология обрушила
Гугл и без всяких технологий может обрушивать эти акции манипулируя акциями. Скорее всего так и было сделано, чтобы придать вес своей технологии в глазах быдла, мол, смотрите, аж акции обрушились. Они пизданулись, глядите!
Аноним 27/03/26 Птн 15:12:42 #21 №19334651 
>>19334399 (OP)
Значит ли это, что оперативку теперь можно будет купить не за 90к рублей за 64 гига, а за 30к рублей?
Аноним 27/03/26 Птн 15:15:35 #22 №19334660     RRRAGE! 1 
>>19334440
Старое название Тисы - Стикс.
Аноним 27/03/26 Птн 15:19:50 #23 №19334678     RRRAGE! 0 
>>19334399 (OP)
Охуенный график - от 48 до 50, лол
Аноним 27/03/26 Птн 15:20:14 #24 №19334679     RRRAGE! 0 
>>19334651
За 85к
Аноним 27/03/26 Птн 15:35:28 #25 №19334723     RRRAGE! 0 
image (5).png
>>19334651

С чего бы? Производство не резиновое, просто придется компенсировать проседание продаж для датацентров, повышением ценника для розницы.
Аноним 27/03/26 Птн 15:47:43 #26 №19334776 
>>19334493
Столько же и больше. Планка AGI еще не достигнута. Туда рвутся все от Маска до скромняшки Хуанга.
Аноним 27/03/26 Птн 15:57:13 #27 №19334813 
Да
Но кванта пока ни у кого нет
Только интел сраный
Аноним 27/03/26 Птн 16:02:10 #28 №19334838     RRRAGE! 0 
>>19334435
Молодой человек это не для вас снижение
Аноним 27/03/26 Птн 16:07:52 #29 №19334852 
>>19334526
Судя по его словам 1ТБ словаря хватит буквально на все.
Аноним 27/03/26 Птн 19:07:42 #30 №19335442 
>>19334399 (OP)
DOOM3 на максималках запустится?
Аноним 27/03/26 Птн 19:24:28 #31 №19335498 
>>19334852
Ващет 36гб весит весь словарь.
Аноним 27/03/26 Птн 21:38:05 #32 №19335936 
image.png
>>19334399 (OP)
да-да, видели
Аноним 27/03/26 Птн 23:57:17 #33 №19336243 
.webm
>>19334503
>бесконечное сжатие
>>19334526
>сводилась к тому что нужно хранить огромные словари
>>19334563
>Идея так то приставив палец к носу нормально вроде выглядела
>>19334852
>1ТБ словаря хватит буквально на все

Сука с кем я сижу!?
Да похуй какой у вас словарь, если у тебя данные абсолютно рандомные, то указатели на значения в словаре будут в сумме весить как минимум столько же сколько и сами значения. Я даже в универе эту хуйню не проходил, чисто на досуге изучил матчасть.
Вбейте в свою башку: данные со 100% энтропией не сжать не на бит!
А сжатие до ~100% энтропии могут производить и обычные архиваторы.
Аноним 28/03/26 Суб 13:14:02 #34 №19337380 
1
Аноним 28/03/26 Суб 18:01:36 #35 №19338218 
>>19335442
Если pk4 в base распаковать.
comments powered by Disqus