Зачем тебе это надо?
бамп
бамп
Откуда скачать то нужно?
Возможно сайт думает что ты его ддосишь или срабатывает лимит на количество подключений, тогда смена качальщиков тебе не поможет.
wget -i file.txt -c -q
Где file.txt список ссылок
Паузу надо ставить между скачиваниями. И сделать потоков немного, 2-3. Тебя блочат за то, что ты слишком назойливый. Можно ещё подключать проксики, качать через них. В идеале штук 10 прокси и качать в 10 потоков, по 1 на прокси. И всё равно паузы делать. Я бы делал паузу в 1 секунду между скачиваниями. В 10 потоков 200к файлов скачаются таким образом... часов за 5.
wget с задержкой и незагрузкой сохраненных файлов, ну и повторять пока все не скачается.
https://stackoverflow.com/questions/4944295/skip-download-if-files-exist-in-wget
https://stackoverflow.com/questions/32322456/skip-successfully-downloaded-files-using-wget
https://stackoverflow.com/questions/35771287/delays-between-requests-in-wget
писал же в посте, что не пашет, даже 1 файл не скачивается с того сайта с помощью wget, тупо лост конекшнс
не, видимо ты не понял, все скачиватся в 50 потоков без проблем, вот только с одного даунлоадер мастера, с остальных не качает
не пашет wget, возможно проблема в юзер агенте, сайт блочит его
это исключено. а вот проблема с юзер агентом может быть
Дай ссылку на какой-нибудь файл с того сайта.
Спустя 10 тоже пришлось обратиться к дм, надо было скачать чуть больше тысячи файлов. Справился заебись, но с твоим объемом не сравнится. Качай по частям.
10 лет
поменял, все равно не работает:(
юзаю вот это: wget --user-agent="Mozilla/5.0 (X11; Fedora; Linux x86_64; rv:40.0) Gecko/20100101 Firefox/40.0" -i C:\Users\*\Desktop\dow_it.txt -P documents/websites/
Да, с 1к ссылок download master без проблем справляется, если больше - начинает тупить
Дай соус четвертой пожалуйста.
бамп
Скорее всего там скачка запрещена в роботс.тхт, в вгет это учитывает. Найди как сказать вгету чтобы он игнорил эти правила.
Можешь ещё curl попробовать, правда там вроде как нельзя задать просто список файлов. Надо будет через цикл скачивать каждый файл или типа того.
Вот из какого-то скрипта скачивал фотки из вк https://pastebin.com/raw/wvzYeuui и юзал тор
Я бы скрипт в питоне написал, и задал столько потоков, сколько надо, можешь готовый где-то спиздить.
wget -e robots=off
Сделай архив и качай архив, по 1 файлу долго
200 руб и я тебе напишу прогу на джаве. Если в вкратце: будем использовать акка стримы, в качестве источника данных укажем твои ссылки, флоу и синк будут записывать твои файлы. Во флоу можно указать сколько параллельно скачивать файлов. А еще лучше прицепить прокси и качать по 50 или еще больше файлов за раз.
попробовал с этим
вышло: "Невозможно установить соединение SSL"
Ну тогда и правда по частям можно. Я ситуации не знаю, но не думаю, что это сложно. Сидишь на двоще/смотришь фильм, он одну партию скачал, ты вторую подкинул и так далее
Добавь ещё --no-check-certificate
бамп
200 раз по 1к - слишком муторно
уже пробовал, тот же результат
бамп
В названии было что-то про Матильду.
бамп
бамп
Окей, скину до 150 руб
ftp доступ есть?
aria2
>wget
This юзаю wget в адовых скриптах, ещё ни разу такого не было, чтобы dmaster что то мог скачать, чего не может wget.
Скорее всего фейл происходит из-за заголовка Referrer, который wget по дефоолту не генерирует в запросе, а DM таки да, по умолчанию делает его равным домену, откуда идёт скачка.
да, возможно проблема в новой версии wget
спасибо за ссылку
есть идеи как это пофиксить?
спасибо
нет
По ссылке на stackoverflow пишут, что надо явно указывать какой TLS делать, сервер, видимо ещё к тому же, кривой.
Бамп
аромат матильды (1994)
Ограничь количество одновременных загрузок в ДМ
не помогает
ограничение на 3 шт работает также, как и 50 шт
возможно виснуть начинает из-за количества добавленных в очередь, либо при подсчете истории
как-то так все работает
Я тебе даунлоадер написал. Ща проверю в виртуалке и закину итт.
Давай я скачаю и залью архив со всеми фотографиями куда-нибудь.
\test
Вроде работает.
http://rgho.st/8r2ddyFQy
Использование
1. Распаковать
2. В файле inp.txt должны быть ссылки на нужные тебе файлы. Образец я скинул.
3. В процессе работы генерирует лог
4. Просто запуск даблкликом. Не забудь п.2
5. В конце работы ждёт чтобы ты ввёл энтер.
6. Если будет нехватать библиотек - скажи итт.
7. Не вишмастер
http://rgho.st/8r2ddyFQy
Использование
1. Распаковать
2. В файле inp.txt должны быть ссылки на нужные тебе файлы. Образец я скинул.
3. В процессе работы генерирует лог
4. Просто запуск даблкликом. Не забудь п.2
5. В конце работы ждёт чтобы ты ввёл энтер.
6. Если будет нехватать библиотек - скажи итт.
7. Не вишмастер
>криптор
Почти не вишмастер
.
даже провайдер оберегает от вирусов
Не хочешь не верь. В виртуалке проверь
Ну ргхост тащемта даже яндекс уже забанил в выдаче.
уже более-менее нормально скачивается с 50-ю потоками на DM
> Как "БЫСТРО" скачать около 200к файлов с сайта без лагов, юзая список ссылок?
ARIA2C
R
I
A
2
C
Написать небольшой скрипт на Питоне используя requests. Делов то
ТАК, ВСЕМ СТОП ХВАТИТ ЗАСИРАТЬ ТЕМУ. ЩАС Я ТЕ ПОМОГУ ОП-ЧИК.
уже в процессе, но скпчивается медленно
чем ты можешь помочь?
Я
достаю
из широких штанин
дубликатом
бесценного груза.
Читайте,
завидуйте,
я -
гражданин программист
Советского Союза.
Если download master захлёбывается ограничивай количество одновременных загрузок. Но только смотри, когда их много, в итоге он может глюкануть на середине процесса или ещё где.
Не раз такое бывало.
Так что твои действия такие:
1. Ставишь старый https://ftp.mozilla.org/pub/firefox/releases/52.9.0esr/win64/ru/
2 На него дополнение DownThemAll
3 Настраиваешь ограничения, качаешь файлы. Он и от 500к. файлов не захлёбывается.
Только имей ввиду Фирифокс нужен именно этот, не свежее, потому что на более свежих старые дополнения не работают, которые не допилены под новый движок.
Не раз такое бывало.
Так что твои действия такие:
1. Ставишь старый https://ftp.mozilla.org/pub/firefox/releases/52.9.0esr/win64/ru/
2 На него дополнение DownThemAll
3 Настраиваешь ограничения, качаешь файлы. Он и от 500к. файлов не захлёбывается.
Только имей ввиду Фирифокс нужен именно этот, не свежее, потому что на более свежих старые дополнения не работают, которые не допилены под новый движок.
Мое вам почтение, уважаемый анон
Скорость что надо, не тормозит и не жрет 4гб, как это делают флеш даунлоадеры
>Как "БЫСТРО" скачать около 200к файлов с сайта без лагов, юзая список ссылок?
1. Берешь список быстрых прокси (рекомендую proxyscraper)
2. Пишешь простейший скрипт на питоне, который ходит по ссылкам и качает (рекомендую urllib для скачивания)
curl + немного поговнокодить
Месье анон нашел хорошее решение Mozilla + DownThemAll
салют бродяги, дайте совас видоса из оп-поста. мимо проходил
салют, аромат матильды (1994)
счастливый ОП
спасибо, счастья и здоровья тебе
хуита. там нет такой тёлки.
скинул ссылку анона сверху, значит не судьба
Как "БЫСТРО" скачать около 200к файлов с сайта без лагов, юзая список ссылок? Файлы размером по ~50кб
Качаю через downloader master, он захлебывается даже со списком из 10к ссылок, ЧЯНТ?
PS Пытался через gnu wget, orbit downloader, free download manager -- везде лост конекшнс, подмена user agent не помогает
PPS Бампаю много раз и ухожу