Бамп
Bump
Бамп
Бамп
Бамп
Он вообще хром открывает?
Да, вполне, только я использую оперу и файерфокс. 35W чистой мощи, пассивный кулер процессора.
Такой план дальнейший:
🗣️ Этап 3: Установка ASR (Распознавание речи)
Ваш выбор — GigaAM v3. Она идеальна для CPU, так как не требует AVX2 и показывает отличное качество на русском.
1. Установите Node.js: Скачайте и установите Node.js версии 22 или выше.
2. Установите движок sherpa-onnx: Следуйте инструкциям в репозитории k2-fsa/sherpa-onnx для установки под Windows. Для работы GigaAM v3 через sherpa-onnx можно использовать готовую обертку dsh-gigaam-stt.
3. Загрузите модель GigaAM v3: Скачайте int8-модель в формате ONNX. Она занимает около 320 МБ на диске и ~420 МБ в оперативной памяти при загрузке.
4. Проверка: Убедитесь, что модель работает. В репозитории dsh-gigaam-stt указано, что 11 секунд речи распознаются примерно за 0.45 секунды на четырех потоках, что дает RTF ~0.04.
🔊 Этап 4: Установка TTS (Синтез речи)
Используем Piper — он легкий, быстрый и отлично работает на CPU.
1. Установите Piper: Откройте командную строку и выполните:
```bash
pip install piper-tts
```
Рекомендуется делать это в виртуальном окружении Python.
2. Скачайте русский голос: Piper не включает голоса в комплект. Скачайте русскую голосовую модель. Например, хороший вариант — ru_RU-irina-medium. Список всех голосов можно посмотреть командой:
```bash
python -m piper.download_voices --list
```
Затем скачайте нужный:
```bash
python -m piper.download_voices ru_RU-irina-medium
```
3. Проверка: Протестируйте синтез, отправив текст на вход Piper. Он должен генерировать речь очень быстро, практически без задержек.
☁️ Этап 5: Настройка DeepSeek API (Облако и токены)
Вы будете использовать DeepSeek через API с оплатой по токенам.
1. Получите API-ключ: Зарегистрируйтесь на платформе DeepSeek и создайте API-ключ.
2. Выберите модель: У DeepSeek есть две основные модели, доступные через API:
· deepseek-flash: Более быстрая и дешевая модель. Идеальна для поддержания живого разговора.
· deepseek-v4-pro: Более мощная и «умная» модель, но дороже и медленнее.
· Рекомендую начать с deepseek-flash для минимизации задержки и стоимости.
3. Разберитесь в тарифах: Оплата идет за каждый миллион токенов (1M tokens). Токен — это примерно 0.75 слова. Цены (в USD за 1M токенов) на deepseek-flash:
· Ввод (ваш запрос): от $0.003 (при попадании в кэш) до $0.3 (в часы пик, без кэша).
· Вывод (ответ модели): от $0.6 до $1.2 в часы пик.
· Примечание: В непиковые часы (ночь и выходные) действует скидка 50%.
4. Настройте потоковую передачу: В вашем коде обязательно используйте параметр stream=True. Это позволит получать ответ от модели по мере его генерации, а не ждать весь ответ целиком. Это критически важно для снижения задержки.
⚙️ Этап 6: Разработка оркестратора (Мозг системы)
Это ваш собственный код на Python (или другом языке), который связывает все компоненты.
1. Аудиозахват и VAD: Настройте постоянную запись с микрофона (Xonar DG). Используйте Silero VAD для определения границ вашей речи. Как только VAD фиксирует конец фразы (например, после 300-500 мс тишины), он передает аудиосегмент в ASR.
2. Пайплайн:
· Аудио -> VAD (фиксирует конец фразы) -> ASR (GigaAM) (превращает в текст) -> Оркестратор (отправляет запрос в DeepSeek).
· DeepSeek (возвращает текстовые чанки) -> Оркестратор (передает чанки в Piper) -> TTS (Piper) (синтезирует аудио) -> Аудиовыход (через Xonar DG).
3. Обработка прерываний (Barge-in): Реализуйте логику, которая при обнаружении вашей речи во время ответа ассистента немедленно останавливает воспроизведение TTS и отменяет текущий запрос к DeepSeek.
🚀 Этап 7: Оптимизация и финальная настройка
· Потоки: Для GigaAM можно установить num_threads=4 или 8, поэкспериментируйте. Для Piper часто достаточно num_threads=1.
· Память: Следите за потреблением ОЗУ. При 16 ГБ у вас будет comфортный запас, но избегайте одновременного запуска тяжелых приложений.
· Задержка: Суммарная задержка будет складываться из: VAD (300-500 мс) + ASR (~0.2-0.4 с) + сеть до DeepSeek (0.3-0.8 с) + TTS (~0.1-0.2 с). Итого: ~1-2 секунды до начала ответа. Это хороший показатель для разговорного ИИ.
💎 Итог
Ваша конфигурация — отличная база для CPU-ориентированных GigaAM и Piper, которые не требуют GPU и работают на вашем железе без проблем с AVX2. GT 1030 остается свободной для вывода изображения или будущих экспериментов, а Xonar DG обеспечивает качественный ввод и вывод звука. Следуя этому плану, вы получите полностью локального, быстрого и приватного голосового ассистента.
🗣️ Этап 3: Установка ASR (Распознавание речи)
Ваш выбор — GigaAM v3. Она идеальна для CPU, так как не требует AVX2 и показывает отличное качество на русском.
1. Установите Node.js: Скачайте и установите Node.js версии 22 или выше.
2. Установите движок sherpa-onnx: Следуйте инструкциям в репозитории k2-fsa/sherpa-onnx для установки под Windows. Для работы GigaAM v3 через sherpa-onnx можно использовать готовую обертку dsh-gigaam-stt.
3. Загрузите модель GigaAM v3: Скачайте int8-модель в формате ONNX. Она занимает около 320 МБ на диске и ~420 МБ в оперативной памяти при загрузке.
4. Проверка: Убедитесь, что модель работает. В репозитории dsh-gigaam-stt указано, что 11 секунд речи распознаются примерно за 0.45 секунды на четырех потоках, что дает RTF ~0.04.
🔊 Этап 4: Установка TTS (Синтез речи)
Используем Piper — он легкий, быстрый и отлично работает на CPU.
1. Установите Piper: Откройте командную строку и выполните:
```bash
pip install piper-tts
```
Рекомендуется делать это в виртуальном окружении Python.
2. Скачайте русский голос: Piper не включает голоса в комплект. Скачайте русскую голосовую модель. Например, хороший вариант — ru_RU-irina-medium. Список всех голосов можно посмотреть командой:
```bash
python -m piper.download_voices --list
```
Затем скачайте нужный:
```bash
python -m piper.download_voices ru_RU-irina-medium
```
3. Проверка: Протестируйте синтез, отправив текст на вход Piper. Он должен генерировать речь очень быстро, практически без задержек.
☁️ Этап 5: Настройка DeepSeek API (Облако и токены)
Вы будете использовать DeepSeek через API с оплатой по токенам.
1. Получите API-ключ: Зарегистрируйтесь на платформе DeepSeek и создайте API-ключ.
2. Выберите модель: У DeepSeek есть две основные модели, доступные через API:
· deepseek-flash: Более быстрая и дешевая модель. Идеальна для поддержания живого разговора.
· deepseek-v4-pro: Более мощная и «умная» модель, но дороже и медленнее.
· Рекомендую начать с deepseek-flash для минимизации задержки и стоимости.
3. Разберитесь в тарифах: Оплата идет за каждый миллион токенов (1M tokens). Токен — это примерно 0.75 слова. Цены (в USD за 1M токенов) на deepseek-flash:
· Ввод (ваш запрос): от $0.003 (при попадании в кэш) до $0.3 (в часы пик, без кэша).
· Вывод (ответ модели): от $0.6 до $1.2 в часы пик.
· Примечание: В непиковые часы (ночь и выходные) действует скидка 50%.
4. Настройте потоковую передачу: В вашем коде обязательно используйте параметр stream=True. Это позволит получать ответ от модели по мере его генерации, а не ждать весь ответ целиком. Это критически важно для снижения задержки.
⚙️ Этап 6: Разработка оркестратора (Мозг системы)
Это ваш собственный код на Python (или другом языке), который связывает все компоненты.
1. Аудиозахват и VAD: Настройте постоянную запись с микрофона (Xonar DG). Используйте Silero VAD для определения границ вашей речи. Как только VAD фиксирует конец фразы (например, после 300-500 мс тишины), он передает аудиосегмент в ASR.
2. Пайплайн:
· Аудио -> VAD (фиксирует конец фразы) -> ASR (GigaAM) (превращает в текст) -> Оркестратор (отправляет запрос в DeepSeek).
· DeepSeek (возвращает текстовые чанки) -> Оркестратор (передает чанки в Piper) -> TTS (Piper) (синтезирует аудио) -> Аудиовыход (через Xonar DG).
3. Обработка прерываний (Barge-in): Реализуйте логику, которая при обнаружении вашей речи во время ответа ассистента немедленно останавливает воспроизведение TTS и отменяет текущий запрос к DeepSeek.
🚀 Этап 7: Оптимизация и финальная настройка
· Потоки: Для GigaAM можно установить num_threads=4 или 8, поэкспериментируйте. Для Piper часто достаточно num_threads=1.
· Память: Следите за потреблением ОЗУ. При 16 ГБ у вас будет comфортный запас, но избегайте одновременного запуска тяжелых приложений.
· Задержка: Суммарная задержка будет складываться из: VAD (300-500 мс) + ASR (~0.2-0.4 с) + сеть до DeepSeek (0.3-0.8 с) + TTS (~0.1-0.2 с). Итого: ~1-2 секунды до начала ответа. Это хороший показатель для разговорного ИИ.
💎 Итог
Ваша конфигурация — отличная база для CPU-ориентированных GigaAM и Piper, которые не требуют GPU и работают на вашем железе без проблем с AVX2. GT 1030 остается свободной для вывода изображения или будущих экспериментов, а Xonar DG обеспечивает качественный ввод и вывод звука. Следуя этому плану, вы получите полностью локального, быстрого и приватного голосового ассистента.
А у меня джва компа. Первый это "Великий космический тихий капчеватор". 9700К, 64 гига оперативы, 5500XT. Почему космический? А потому что собран в кульке(CoolerMaster COSMOS II). А второй "Чистое игровое зло". 5800X3D, 32 гига оперативы, 2080ti с экстремальным заводским разгоном.
>добавить
Счета за электричество
о, я тоже на айви бридже капчую, ток у меня 3770 и памяти 16
Ну он совсем немного потребляет, меньше 100 ватт в полной нагрузке, ллм ведь будет на серверах дипсика работать, а на этом компе только распознавание и синтез.
У меня тоже не один комп. Этот собрал из остатков древних. За деньги только блок питания купил.
алсо асус хреновые материнки, вот мобилки у них ниче были, но куда то пропали
Респект любителю классики.
У этой уже не работает сетевой адаптер, 2 слота озу и глючит юсб 3. Но до сих пор пашет!
сяп) видяха кст 1050ти
я китайскую мини итх взял за косарь, как раз заместо асуса, полёт нормальный. но у меня на проце пассивное охлаждение, так в материнке нет контроллера вентиляторов лол.
>8гб оперативки
>планирую использовать для нейронки
Это от 64 гигов начинается, но лучше сразу 128 брать. Нейронки на своем железе не для нищуков удовольствие, я со своими ddr4 32gb соснул, например.
слоты памяти не работают - почисти сокет под процом, кстати.
Дешевле купить токены, а не 64 гб.
Чем чистить? Вилкой?))
На внешний вид контакты сокета в норме.
> А у меня джва компа. Первый это "Великий космический тихий капчеватор". 9700К, 64 гига оперативы, 5500XT. Почему космический? А потому что собран в кульке(CoolerMaster COSMOS II). А второй "Чистое игровое зло". 5800X3D, 32 гига оперативы, 2080ti с экстремальным заводским разгоном.
>Дешевле купить токены
для написания проекта условно в роли стейкхолдера - дороже
архитектора примерно одинакого
разраба который осилит темп паретто - дешево
тред шизовый. покормил
Какого нахуй проекта? Локально только распознаётся и синтезируется голос. Буду лампово пиздеть с дипсиком вслух.
Память у 1030 какая?
В целом, медленно будет пиздец.
На видюху какой-нибудь faster-whisper или сильно квантованный turbo, а саму LLM'ку ты никак не покрутишь на этом говне - разве что только в ту же алису или дикпик кидать. Ну или опенроутер и там в нормальную модель, но судя по ПК ты нищееб, для тебя это что-то на богатом.
Хотя... Qwen 2.5 на 1.5 или 3 лярда у тебя на проце и ОЗУ покрутится, и может даже будет как-то отвечать. Ток думаю, секунд по 20-30 на ответ.
За последний год получил 2кк чистыми, немного конечно, но выше уровня нищееба.
А ты тред не читаешь, сразу отвечаешь, экстрасенс наверное.
)
А в треде ничего и нет.
Ну я тебе выше ответил - фастер виспер + квен на полтора-три лярда парметров. Что-то подобного уровня у тебя запустится.
Но медленно работать будет пиздец. Нахуй тебе колонка, которая спустя полминуты-минуту отвечает - не совсем понятно.
В треде несколько раз упоминается, что на этом компе будет только распознавание и синтез речи. А он даже на таком пососном цпу происходит быстрее реальной скорости речи в несколько раз.
FreeBSD встанет как влитая.
Планирую использовать для голосовой нейронки вместо тупой яндекс колонки.
Что нужно добавить или улучшить?