Сохранен 34
https://2ch.su/pr/res/1742443.html
24 декабря 2023 г. Архивач восстановлен после серьёзной аварии. К сожалению, значительная часть сохранённых изображений и видео была потеряна. Подробности случившегося. Мы призываем всех неравнодушных помочь нам с восстановлением утраченного контента!

Высоконагруженный тред /highload/

 Аноним 05/07/20 Вск 13:41:42 #1 №1742443 
smngoz6m7erap94mp.49f7b484.jpg
5667242-1.jpg
peregruzhennyjtransportkitaja1.jpg
Ищем бутылочные горлышки, оптимизируем архитектуру, денормализуем данные и обсираемся с результатов здесь.

Более-менее полезные материалы:
https://ruhighload.com/ - главный россиянский сайт по теме
https://www.youtube.com/playlist?list=PLrCZzMib1e9rZohs_FJg8MK52Ey494z40 - курс от Мыла
https://libgen.lc/item/index.php?md5=A12F1222BAC4AC823E6F1791916AF05F - мета-учебник
https://libgen.lc/item/index.php?md5=ADB1B34DC79C1AA7A2624EC0A12C819B - тонкии пердолинг Джавы
Аноним 05/07/20 Вск 15:08:19 #2 №1742523 
>>1742443 (OP)
>highload
>ололо лекции от мыла
>жаба
Модер, закрывай тред и бань идиота.
Аноним 05/07/20 Вск 17:09:24 #3 №1742661 
>>1742523
Давай, маня, расскажи Нетфликсу, что джава не для хайлоада.
Аноним 05/07/20 Вск 17:12:20 #4 №1742667 
>>1742661
Здесь это почему-то популярное мнение, мол хайлоад - это обязательно кресты или пщ.
Аноним 05/07/20 Вск 17:16:15 #5 №1742675 
>>1742667
>хайлоад - это обязательно кресты
Тут всю доску надо закрывать в таком случае.
Аноним 05/07/20 Вск 17:22:03 #6 №1742679 
>>1742661
Ты для начала прочти что они пишут на Java, дуралей. Там типичные круды на спринге в формате микросервисов. Хайлоад там в кастомной сборке фрибсд и килотоннах C++ кода, который рулит доставкой контента.
Аноним 05/07/20 Вск 17:27:07 #7 №1742684 
>>1742667

В целом, конечно хайлоад это про архитектуру, а не языки...

Но бля, когда ежемесячный счёт авс начинает превышать зарплаты десятка программистов, начинается переписывание на более экономные на память языки, которые лучше утилизируют ресурсы. И да, это гошечка, раст и кресты.
Аноним 05/07/20 Вск 17:44:34 #8 №1742698 
>>1742679
>Хайлоад там в кастомной сборке фрибсд и килотоннах C++ кода, который рулит доставкой контента.
Откуда инфа?
Аноним 05/07/20 Вск 17:55:34 #9 №1742704 
>>1742698
Вбей в ютуб - Netflix FreeBSD и узри. Про C++ тоже найдешь.
Про твою Java там тоже достаточно презентаций с конференции Spring One, лол.
Аноним 05/07/20 Вск 20:05:41 #10 №1742838 
>>1742661
Но у нетфликса эликсир.
Аноним 05/07/20 Вск 20:17:13 #11 №1742847 
>>1742838
>этот пукнутый семен
Аноним 05/07/20 Вск 20:18:43 #12 №1742851 
>>1742847
Лол это мой первый пост в треде.
Аноним 07/07/20 Втр 15:07:31 #13 №1743964 
>>1742661
Они там еще TLS в ядро перенесли.
Аноним 07/07/20 Втр 17:06:07 #14 №1744063 
Есть у кого опыт kql, это который Реал тайм аналитика на кафке?
Что-то на форумах мнения попадаются, что оно говно, и нужен Спарк. Но почему?
Аноним 08/07/20 Срд 04:27:42 #15 №1744564 
>>1744063
Нашел где спрашивать, лол.
Аноним 28/08/20 Птн 17:51:39 #16 №1791228 
>>1742523
Кидай свои варианты или уебывай
Аноним 03/09/20 Чтв 20:38:53 #17 №1796673 DELETED
1599154726687.jpg
>>1796672 →
Ocпариваeшь нecправeдливый бан в кoтoрый раз? Лучшe ocпoрь правo мoчи eгo выдавать!
Аноним 04/09/20 Птн 08:04:01 #18 №1796962 
>>1744063
Если возникает вопрос, на чем дедать хайлоад - скорее всего хайлоад тебе НЕ НУЖЕН.
Аноним 07/09/20 Пнд 14:52:15 #19 №1799522 
>>1744564
Аноним 20/09/20 Вск 00:06:07 #20 №1811249 
Тред мертв, но все же.
Аноны, очередной вопрос знающим, ну или теоретикам, на порассуждать.
Какая схема работы подойдёт лучше, для масштабируемой системы:
1. Сервер на котором сразу все. Nginx+flask+pgbouncer+postgresql. И таким образом набор этих сервисов раскинуть по все регионам.
2. Сервер на котором веб часть(Nginx+flask) и один(под каждый регион) отдельный сервер под бд(pgbouncer+postgresql).

Задача в том, что бы на каждый гео-регион поставить сервера, что бы юзеру был пинг получше.

Первый вариант проще всего доставлять и нихуя особо настраивать не надо. Но тогда больше шанс проеба при репликации мастер-мастер т.к. бд много получается.
Второй вариант сложнее настраивать, т.к. каждый раз надо будет для приложения прописывать вручную конкретный адрес бд которая подходит к его региону.

Деплой идёт докер-композом.
Неужели кубернетосы завозить надо?
Аноним 20/09/20 Вск 01:04:29 #21 №1811278 
>>1811249
> т.к. каждый раз надо будет для приложения прописывать вручную конкретный адрес бд которая подходит к его региону
Про оркестрация не слышал, не? На каком-нибудь ansible, или что там сейчас модно, любая макака нужную роль напишет за пару тройку дней. Один раз составляешь инвентарник c айпишниками и конфигурацией этих твоих федерализуемых микрокластеров и по ней до/развёртываешь/обновляешь компоненты.

Ещё можешь посмотреть в сторону ластика, если у тебя в требованиях есть полнотекстовый поиск, там федерализация из каропки с 6 версии вроде бы.
Аноним 20/09/20 Вск 02:58:52 #22 №1811311 
>>1811278
> Неужели кубернетосы завозить надо?
> Про оркестрация не слышал, не?
Окаай.
Не уверен в адекватности оркестрации при 6-7 серверах.

> ластика
Падажи, антош, я не про это справшивал. Про полнотекстовый поиск я ничего не писал. Так-то он и в постгресе есть.

Вопрос в том, какой из подходов адекватней и лучше, п.1 или п.2, как думаешь?
Аноним 20/09/20 Вск 09:40:42 #23 №1811356 
>>1811249
Ну ты нашел где спросить, ей-богу. Встает вопрос, что для тебя важнее - репликация или уменьшение ебли с настройкой. Если не знаешь - кинь монетку пока она летит - поймешь, какую сторону тебе хочется
Аноним 20/09/20 Вск 14:55:41 #24 №1811502 
>>1811356
Уменьшение ебли с настройками важнее, т.к. репликация точно будет работать збс, хоть и могут быть проблемы, но по журналу транзакций все потом восстановится.

Но если я стартану новый сервер, к примеру, то бд в нем будет пустая, и понадобится время что бы синхронизировать новую бд и существующие. А это уже пиздецом попахивает.

Видимо выберу вариант с независимыми БД и еблей с настройками.
Аноним 21/09/20 Пнд 13:24:21 #25 №1812425 
>>1811502
Ну вот и определились. Кря-кря!
sageАноним 22/09/20 Втр 05:18:14 #26 №1813043 
>>1742684
представляю этот зоопарк из .нет/ява/нода сервисов, где каждый образ по 1гб, даже для самых милипиздрюческих задач
Аноним 22/09/20 Втр 17:24:02 #27 №1813374 
>>1813043
Нода столько не жрет, попрошу. Не зря ж она инвалида по функциональности напоминает.
Аноним 23/10/20 Птн 23:53:16 #28 №1838151 
>>1811249
> и один(под каждый регион) отдельный сервер под бд(pgbouncer+postgresql)
Охуеешь поддерживать. Возьми вместо postgresql - cockroachDB, там геопартишенинг из коробки есть, а со стороны приложения практически никакой разницы нет.
Аноним 24/10/20 Суб 06:34:05 #29 №1838273 
>>1838151
Поздно, уже сделал как описывал, пока норм.
Но изучу твою идею, спасибо, антош.
Аноним 24/10/20 Суб 14:38:02 #30 №1838598 
>>1742443 (OP)
>https://ruhighload.com/
>Индексы в MySQL
>MySQL
>highload
Типичный тред в pr?
Аноним 24/10/20 Суб 15:47:28 #31 №1838679 
>>1838598
> 28 постов за 3.5 месяца
Ну да, куда уж типичнее.
Аноним 26/11/20 Чтв 02:53:24 #32 №1865814 
>>1838598
Дай свое определение highload'а
Аноним 26/11/20 Чтв 08:03:09 #33 №1865863 
>>1865814
все бизнесы, где проебались с планированием нагрузки.
(я не он)
Аноним 26/11/20 Чтв 12:17:42 #34 №1866016 
>>1865863
Так в том то и дело, что в твоем определении нет ничего, что бы отрицало MySQL
comments powered by Disqus