в чем проблемэ, документацию по numpy и pandas не знаешь где взять?
Не знаю такого. Они дают возможность хранить в памяти что-либо долгосрочно?
нет. сохранишь потом отдельным кодом.
Ну еще посмотри на пакетик data.table
Там вроде все поинтереснее.
у тебя вариантов то немного. Либо велосипед на хешах, либо что-нибудь из датасаенса заюзать. С велосипедом ты скорее всего заманаешься.
А вообще, почему у тебя база медленная? Ты уверен что ты не тупой?
Не уверен.
Мне нужно сохранять состояния pytest тестов в базу. Тесты очень быстрые. Каждое изменение состояния теста - это запись. Вот я и думаю, будет ли быстрее не сохранять сразу, а держать в памяти. Сохранять уже потом, после того как джоба отработает.
Запись в файлы не вариант.
Насчет скорости. К примеру запускаем 1000 тестов - без записи отработают за доли секунды. С записью выходит уже около 10 секунд. Нужно быстро.
в принципе, сама формулировка "in-memory db" какая-то тупая.
Что значит долговременное хранение памяти ?
посмотри еще вот эти либы
https://plyvel.readthedocs.io/en/latest/user.html#basic-operations
https://github.com/KeyviDev/keyvi
и переосмысли вопрос
Что значит долговременное хранение памяти ?
посмотри еще вот эти либы
https://plyvel.readthedocs.io/en/latest/user.html#basic-operations
https://github.com/KeyviDev/keyvi
и переосмысли вопрос
Я имел ввиду что все приходящие данные будут лежать в памяти до выключения сервера, и можно с ними работать в любое время.
>Запись в файлы не вариант.
почему? раскрой это.
кто тесты потом обрабатывает?
ты в курсе что в mysql есть несколько вариантов хранилищ, INSERT IGNORE, возможность отключить немедленную запись транзакций и binlog ?
короче, начни с pandas. В любом случае, пригодится.
К примеру у тебя 1000 изменений какой либо записи за секунду. Не будут ли файловые операции тормозить ?
наивная постановка вопроса. зачем обновлять данные, которые будут сразу же перезаписаны?
если тебе нужны логи тестов - храни логи тестов. в базу вставляй большим оператором insert.
кстати, pandas это тоже прекрасно делает.
Ты в стремлении сформулировать задачу как математик потерял все возможности рассуждать об оптимизации.
что вообще обычно делают в таких случаях тестировщики и девопсы? Изучи сначала их опыт
sqlite :memory:
если всё же реально нужно так часто обновлять данные, разберись с редисом. инструмент неплохой
Redis жииииит есть!
двачую. читаю дискач не пойму почему никто редиску не советует.
Не знаю как там сейчас в ваших питухонах, но для го есть много in-memory хранилищ - и kv и с индексами на деревьях и на битмапах, и, о боже с полноценным ACID https://github.com/avelino/awesome-go#database
редиска не нужна, как лишний сетевой запрос
Пиши в очередь результаты, в другом потоке делай insert в базу. Читаешь-синхронизируй.
про пандас - тупой совет, обработка на стороне любой взрослой бд значительно быстрее.
Ну и сам тред тупой,тс не понимает, чего хочет
Ну и сам тред тупой,тс не понимает, чего хочет
Что мешает прямо в памяти сервака держать?
ты не прав. при желании можно специально поставить такой тест, что пандас уделает твой Оракл.
Просто ты не умеешь пользоваться pandas.
1. Сохраняешь в БД. Можно реляционку вроде Постгреса, а можно в Монг (жсоны ведь)
2. Держишь жсон прямо в памяти Питона, это и есть твой кеш. Когда идут запросы на обновление, обновляешь данные в кеше
3. Раз в минуту записываешь данные из кеша в БД (неблокирующим образом разумеется)
Расскажи подробнее, что значит "1000 тестов" и каким образом они получают/обновляют данные.
Возможно ты локально запускаешь всё и поэтому комп не вывозит одновременно и базу и приложение и тесты.
Как тесты обновляют данные? Они их сначала получают полностью, а потом засылают полностью обновлённый json? Сколько уникальных json-записей? 1000 запросов каждый пишет по 1 уникальному файлу или они все долбят 1 json? И всё такое прочее.
Может скинь исходники, было бы интересно посмотреть. потому что недавно начал разбираться с питоном и его фреймворками. До этого с джавой работал.
Если в памяти нужно, то почему бы и нет. Просто хранишь массив своих объектов (десериализованных из json'a). И когда приходит запрос на обновление какого либо их них делаешь filter(...), находишь нужный объект, обновляешь. Без всяких фреймворков, просто руками.
> нужно доставать из памяти и фильтровать по разным критериям. Пробовал редис, но там хрен отфильтруешь, так как key/value
Так фильтруй по ключу, долбоёб
numbers = [-2, -4, -5, 20, 18]
i = len(numbers)
total = 0
while i >= 0 and numbers < 0:
total += numbers
i -= 1
print (total)
Выдаёт ошибку в 4 строке list index out of range, но i изначально равен 5, да и второе условие соблюдается. Что не так, подскажите.
i = len(numbers)
total = 0
while i >= 0 and numbers < 0:
total += numbers
i -= 1
print (total)
Выдаёт ошибку в 4 строке list index out of range, но i изначально равен 5, да и второе условие соблюдается. Что не так, подскажите.
numbers
Чел, ну инмемори sqlite это БАЗА вообще-то. Как ты штаны сам надеть умудряешься утром?
С нуля элементы считаются, индекс последнего элемента у тебя 4, а длина списка - 5, вот и обращаешься к несуществующему элементу.
Если медленно, то значит хуево настроил.
Что за БД? Таблицы как описал? Дай угадаю, ты не умеешь в ORM/asyncio и bulk insert
Бери Эрланг. В нем есть встроенные базы данных. Тем более Эрланг прекрасно скейлиться из коробки.
https://dyp2000.gitbooks.io/russian-armstrong-erlang/content/chapter15.html
>Нужно как-то держать эти данные в памяти
Arrow.
тредю не читал
спасибо.
Предположим в роут вебсервера (fastapi) влетает огромный json. Последующие апи запросы (их много, сотни тысячи) модифицируют эти данные. Пробовал сохранять всё в базу, запросы очень частые, получается медленно.
Нужно как-то держать эти данные в памяти, чтобы можно было с ними работать через апи. Сохранность данных не важна, нужно доставать из памяти и фильтровать по разным критериям. Пробовал редис, но там хрен отфильтруешь, так как key/value. Куда копать ?