Хватит за кудахтером сидеть как сыч, иди пробздись
Тебе нужен RAG, где каждый твой промпт будет прогнан через эмбеддинг (например nomic-embed на 1024 параметра) и твой контекст. промпты хранить в векторной бд и искать по вычисленному вектору твоего контекста, например через faiss
https://habr.com/ru/articles/779526/
Да, я примерно представляю. Даже мельком слышал про косинусное сходство и как его считать.
Но один хуй каша в голове. Хочется понять как в реальных проектах это и какой процент ошибок.
Кроче есть очень много промтов и нужно выбрать правильный в зависимости от контекста. Очевидно я не могу впихивать это все в один суперпромт помимо документов.
Как я понимаю нужно интегрировать эмбединг. Но как блядь правильно это делать? Я чет потыкал в классификаторы и хуйня какая-то, можно выбрать не тот промт.