бамп
ОП, а зачем это нужно? Можешь привести примеры?
Писал для себя, за одно опыта в программировании набираюсь
А так может ещё кому пригодится.
там только с архивача можно качать, а как же двач? Может прикрутишь графический интерфейс и вообще адаптируешь wget для двача?
Ну если ещё и поддержку борд добавить, то будет годно.
Пока только с архивача, по сути это удобная графическая оболочка над aria2c(читай современный wget) для тех кто не хочет или не может замарочиваться с командной строкой
Смысл делать поддержку борд?
Сохранил тред на архиваче, на следующий день скачал всё полностью.
Хотя над поддержкой борд подумаю.
Пока в планах сделать сохранения треда целиком, что бы и картинки открывал полные, а не как куклоскрипт сохраняет только превью
И зачем?
На архиваче тоже работает.
Кукла полные сохраняет, если они не в 404 на момент загрузки.
Не работает в том то и дело.
Попробуй сохрани если тред удалён, например
Не знаю как у ОПа, но у меня ноут чуть не сгорел нахуй. ЦП на 100% грузит.
Во-во, я про это и говорю
Да и не только с удалёнными. Ладно, ты подебил меня.
Всё время юзал куклу для сейва тредов, но не задумывался, что именно на архиваче такое дерьмо будет, ибо я архивач вообще не юзаю.
Полтора года назад, написал на пэхе парсер сосача. Скидывает записи в БД.
Накопилось лямов 20 постов. Там правда есть дубли. Вот все никак не запилю полнотестовый поиск по такой БД.
Накопилось лямов 20 постов. Там правда есть дубли. Вот все никак не запилю полнотестовый поиск по такой БД.
Забавно. Этот пост с вероятностью в 60-70% попадет ко мне в БД.
ну что много вишню словили?
А что он базу сохранял, только ОП-пост или переписку всего треда?
Какая вишня болезный?
Исходники выложил специально. В прошлом треде, месяц назад, задолбали про вишню писать
Всю нулевую.
По крону запускается каждые 20 минут. Просматривает нулевую и с рандомной задержкой заходит в тред, парсит html и сохраняет каждый пост как запись в БД.
Запили гитхаб, если не лень, интересно на реализацию глянуть
Стыдно за реализацию мне будет. Написал на коленке, так чтобы тупо было.
Вся реализация:
- Парсинг библиотека для php.
- Несколько регулярок.
Я думаю сам разберешься. Пруф, сейчас дам - фрагмент БД.
У меня тоже исходники неидеальны, тем не менее выложил, но смотри сам, не настаиваю
ВЫЛОЖИЛ ОДИН ИСХОДНИК
@
РАЗДАЕШЬ ВИШНЮ ПОД ВИДОМ ПРОГИ
Да и кодировка там ебанутая. Мне лень разбираться почему так.
Выполни
set names 'latin1';
В мускуле.
Спасибо, гляну завтра, сейчас спать собрался
Последний бамп и в кроватку
op suka krisa
А я на питоне, парсер пикч писал по поисковому запросу. Быдлокод, но фан был.
ОП, пидор, зачем ты мне пеку сломал?
Если бы ты был не дауном, то ты бы не парсил весь ебаный тред, а юзал апи абу и через json дёргал путь до картинок\видео.
написалсвоюкачалкунаго-кун
написалсвоюкачалкунаго-кун
Э СВЫШЬ, ПИДАР, ТЫ ЧО ТАМ У СЕБЯ НАРИСАВАЛ, ГЕЙРОПЕЕЦ СУКА, ВЫХОДИ МЫ ТЕБЕ ЕБАЛО БИТЬ БУДЕМ!
*кидают бутылкой в балкон
Нука, поделись апи для Архивача, даун
>для Архивача
хотя там и есть Апи, но вроде только для добавления треда
А так ты для архивача запилил. Не заметил.
Ну если хочешь знать, то я такой же даун и паршу хтмл. Хотя с json было бы легче. Но накладные расходы на регулярную машину минимальны.
Есть сильная проблема с нагрузкой на мускуль. Перед тем как засетить пост я проверяю на дубль. Мускуль загибается, короче от такого пула запросов. С json тоже такое хуй решить, только если типа апи обновления что-нибудь.
я уже работал с json, удобная штука, не спорю
просто решил сделать так как сделал, в образовательных целях, по фану
А я не совсем в образовательных.
Пару недель назад таки нашел время на пробный запуск поисковой машины по моим 27 млн записям сосача. Если такая поисковая машина sphinx.
Короче 27 лямов не удалось мне за день запустить. На малых объемах (до 1 млн постов) все заебись - индексирует, ищет. На больших валится. Надо теперь время искать для фикса.
Вообще было бы заебись. Персональный дамп сосача за года. Как архивач. Но времени пиздец не хватает.
Для таких объёмов нужна серверная машина или очень мощный комп наверное
7 летний селерон. Это на этой машине я запускал сфикса. Дело не в конфигурации, дело в конфигах, по всей видимости. 27 лямов для сфикса мелочь. Индексирует правда по полдня.
Какой лвл кстате?
24
Думал меньше, чем мне. 23.
Хз что я тут забыл, лол.
По привычке иногда захожу сюда.
По привычке иногда захожу сюда.
Да как-то делать нехуй стало в интернете. Приходишь с работы чебляделать хз.
Зайду в быдлядтню, но там еще хуже.
Я, правда, в основном в политаче обитаю в ридонли.
Время асек прошло. Тоскливо.
Зачем скачивать тред? Зачем вскрывать эту тему? Вы молодые и шутливые?
> Персональный дамп сосача за года.
>2ch-b.ru
>архив tellmemore
Нуфаги, нуфажики.
wget -r -I "/b/src" "https://2ch.hk/b/res/123456.html" --no-check-certificate -nd -nc -e robots=off -R html -P адрес папки, куда сохранять
Я наконец-то дописал своё детище. хехе
Встречайте! Уникальный, неповторимый скачиватель картинок и видео с архивача.
Тут http://arhivach.org/faq/ есть пункт как сохранить все картинки с треда, но вариант оказался не рабочим. Поэтому не долго думая решил запилить свою прогу.
Она ещё достаточная сырая, нужно тестирование.
P.S.: Давний репост из /b/, тогда народ отнесся с недоверием, резонно спросив исходники
Как и обещал выкладываю на гитхаб:
https://github.com/mxkeeper/ArhivachImagesDownloader
Бинарник можно скачать отсюда: https://github.com/mxkeeper/ArhivachImagesDownloader/releases/tag/1.1
Программа написана на C#, для запуска необходим установленный .NET Framework 4.6