Бамп 1
Бамп 2
Бамп3
бамп 4
Распарарелить.
>Распарарелить.
я нубас в этих вопросах.
Какие у тебя характеристики компа?
мне как бы нужно чтобы все по пунктам разжевали.
это имеет значение? http://SSMaker.ru/5a301ac4/
бамп
Ну, напиши утилиту на простойшем СИ, там десяток строчек кода
Норм. Теперь и гоняешь в несколько тредов.
Давай поподробнее про прожку: у тебя есть огромный файл вида database_damp.sql и по нему нужно сформировать .txt, верно?
Бля, я НИКОГДА с этим ебаным sql не работал.
да. tbl_users.sql - 7,91 ГБ
>Есть один sql дамп
В какой СУБД сделан?
в душе не ебу.
бамп
>Есть один sql дамп и его нужно перегнать в txt файл.
Меняешь расширение файла с .sql на .txt
Профит.
В phpmyadmin загрузи и выгружай, как удобно.
С чего ты взял, что это дамп mysql?
поддвачну
Что значит "перегнать"? В каком виде дамп?
Чем бампать картинками, лучше бы дамп показал.
postgresql в нас не очень популярен
>phpmyadmin
не может открыть больше 4 гигов вроде.
хуй там плавал. не то что должен выдает
А нахуя в txt?
щас найду его и скрин сделаю.
Лолвут. А про другие СУБД ты не в курсе? Oracle, MSSQL?
чтобы дальше с ним работать
Уже после отправки понял. Впрочем, я уже давно вебом не занимался.
А что мешает с ним работать так, мань? Нормальный дамп это и так plain-text.
Загружаешь дамп в локальную базу и выгружаешь всё в csv/tsv/yobasv.
/ thread
А почему сразу веб?
-- MySQL dump 10.13 Distrib 5.1.61, for portbld-freebsd7.0 (i386)
--
-- Host: Database: db_mail
-- Server version 4.1.25-log
/!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT /;
/!40101 SET @OLD_CHARACTER_SET_RESULTS=@@CHARACTER_SET_RESULTS /;
/!40101 SET @OLD_COLLATION_CONNECTION=@@COLLATION_CONNECTION /;
/!40101 SET NAMES utf8 /;
/!40103 SET @OLD_TIME_ZONE=@@TIME_ZONE /;
/!40103 SET TIME_ZONE='+00:00' /;
/!40014 SET @OLD_UNIQUE_CHECKS=@@UNIQUE_CHECKS, UNIQUE_CHECKS=0 /;
/!40014 SET @OLD_FOREIGN_KEY_CHECKS=@@FOREIGN_KEY_CHECKS, FOREIGN_KEY_CHECKS=0 /;
/!40101 SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE='NO_AUTO_VALUE_ON_ZERO' /;
/!40111 SET @OLD_SQL_NOTES=@@SQL_NOTES, SQL_NOTES=0 */;
--
-- Host: Database: db_mail
-- Server version 4.1.25-log
/!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT /;
/!40101 SET @OLD_CHARACTER_SET_RESULTS=@@CHARACTER_SET_RESULTS /;
/!40101 SET @OLD_COLLATION_CONNECTION=@@COLLATION_CONNECTION /;
/!40101 SET NAMES utf8 /;
/!40103 SET @OLD_TIME_ZONE=@@TIME_ZONE /;
/!40103 SET TIME_ZONE='+00:00' /;
/!40014 SET @OLD_UNIQUE_CHECKS=@@UNIQUE_CHECKS, UNIQUE_CHECKS=0 /;
/!40014 SET @OLD_FOREIGN_KEY_CHECKS=@@FOREIGN_KEY_CHECKS, FOREIGN_KEY_CHECKS=0 /;
/!40101 SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE='NO_AUTO_VALUE_ON_ZERO' /;
/!40111 SET @OLD_SQL_NOTES=@@SQL_NOTES, SQL_NOTES=0 */;
Пишешь sql парсер, парсишь это говно и конвертишь в plain text
/thread
/thread
LOCK TABLES `tbl_users` WRITE;
/!40000 ALTER TABLE `tbl_users` DISABLE KEYS /;
INSERT INTO `tbl_users` VALUES ('','rambler.ru',1,NULL,1,NULL,0,NULL,1,NULL,1,0,0),('','top103.rambler.ru',1,NULL,1,NULL,0,NULL,1,NULL,1,0,0),('vovich891','rambler.ru',0,'mail152.rambler.ru',1,'340134',0,418632351,1,NULL,1,0,0),('viktrijavakht','rambler.ru',0,'mail146.rambler.ru',1,'hy1318d3',0,NULL,1,NULL,1,0,0)
Вот в таком виде это дельмо, а нужно mail;pass
/!40000 ALTER TABLE `tbl_users` DISABLE KEYS /;
INSERT INTO `tbl_users` VALUES ('','rambler.ru',1,NULL,1,NULL,0,NULL,1,NULL,1,0,0),('','top103.rambler.ru',1,NULL,1,NULL,0,NULL,1,NULL,1,0,0),('vovich891','rambler.ru',0,'mail152.rambler.ru',1,'340134',0,418632351,1,NULL,1,0,0),('viktrijavakht','rambler.ru',0,'mail146.rambler.ru',1,'hy1318d3',0,NULL,1,NULL,1,0,0)
Вот в таком виде это дельмо, а нужно mail;pass
Единственный верный ответ.
Ах ты мамкин кулхацкер.
grep тебе поможет
В этой таблице нет паролей.
С тебя 100,000 рублей. За 7 дней сделаю все, что надо.
sed, ты хотел сказать.
хуяцкер. Ну не работал я никогда с этой сракой, что теперь стреляться чтоли?
За 100 001 сделаю за день.
100,002 и сделаю ещё и минет.
Нахуя пытаться вынуть пароли из дампа? Обычно пароли записываются в виде хэша с солью, причём и то и другое записывается в разные таблицы и собирается в пароль с помощью функции в коде.
ОП, я уже сделал. Переводи 100,002
День ещё не прошёл. Сиди, жди теперь.
пусть кулхацкер нагреет своим пуканом вселенную, зима будет теплее.
Пиши потоковый парсер на С#, самое простое.
С grep'ом и sed'ом, который здесь тебе советуют красноглазые, ты разбираться будешь месяц.
откуда у тебя такие деньги? Ты считаешь что отсосать мой пиструн стоит таких денег?
там пасс в открытом виде, в глаза ебешься штоле?
и так уже подогрел, снеа в декабре нет нихуя. Улавливаешь связь?
Там вообще нихуя не понятно, что написано.
Тебе нужно всего лишь вытянуть из файла пары логин,пароль и вывести результать в текстовый файл? Это же блядь элементарно регуляркой делается. Самым простеньким скриптом. Ебать ты неуч.
Ты дурак?
SED! SED! Слава Торвальдсу!
как, блядь, это сделать? Никогда не работал с sql. В чем эту локальную базу создать?
да. И хуй еще.
Хуле там разбираться, полтора ключа и регулярка. С которой он и так соснёт, и не важно на чём писать будет, лол.
Чувак, блять, стырил базу на работе или ещё где, и пытается теперь мыльца похачить, а вы ему советы даёте. Детские причём.
опу пояснили уже?
Проверяй.
Ему уже выше написали, что соснёт. Но так как он в шары ебётся, пусть помучается.
Нет, тебя ждём.
>SED
а не слишком долго эта поебень будет изменять 100 млн строк?
тред не читал
говорите что он хочет
Долбоеб, нагугли софт по открытию баз и там стопудово есть дамп в тхт. Кулхацкер блядь нашелся.
Будто что-то плохое.
С регулярками, а также гит'ом и линуксом связаны очень неприятные субкультуры.
Впрочем, есть еще хуже. gulp, блядь. bower, нахуй.
долболёбик, sql это и есть txt
Лол. А ты смешной.
То что смог нагуглить не может блядь такой объем обработать. Максимум 4 гига.
Я без задней мысли спросил. Долго или нет?
Проще вгрузить дамп в базу и вытянуть данные SQL-запросом. Никогда не стоит делать скриптами или командами то, что можно сделать с помощью SQL-запроса.
Вообще, имелось в виду возможность выдернуть и сохранить нужное.
Подозреваю, что sed способен читать из input, а писать в output, и - разумеется! размер файла для него неограничен.
Нахуй тут гулп и бовер? Ты ещё bison приплети сюда.
кто-нибудь объяснит мне что хочет оп в двух словах с примером?
Я про тех, кто еще хуже красноглазых.
Я знаю, мне и нужно его изменить чтобы вышло то что мне нужно. еще раз
,('555dmitriy','rambler.ru',0,'mail22.rambler.ru',1,'907907907',0,NULL,1,NULL,1,0,0),
нужно [email protected];907907907
Только как это провернуть для 100кк строк
Что-то уровня select (user and pass) from usertable
это
блять силлионами способов можно
ты знаком с каким-нибудь языком программирования?
Это не делает регулярки менее полезными. На субкультуры мне как-то похуй, пускай варятся в своём говне.
Читает из input (имя файла) свой output пихает в input следующей команды. Вся эта групповуха называется pipes.
Нет. Ни с одним.
Сам-то как думаешь? Опу тут уже вагон способов насоветовали, но он ещё тут.
Ну как же - похуй, вот ты знаешь про регулярки и почему-то полагаешь, что ничерта не знающий ОП способен их сходу освоить в мере достаточной для парсинга вот этого. Ты несомненно относишься к красноглазым.
Оп - хуй ждет доброго анона, который напишет ему чудо скрипт чтобы всю эту ебалу провернуть.
Оп-хуй.
Оп-хуй.
тогда тебе придётся выучить
за тебя никто это делать не хочет, как видишь
ну тогда пусть нахуй идёт
смешно видеть. это можно сделать за 10 минут
но из-за того что оп тупой, он обосрётся
А потоковый парсер на шарпе он напишет с помощью вдохновения, ага. Я ни к кому не отношусь, но если тебе так удобнее - ок.
А такую базу можно за 2к как минимум загнать ведь.
ты тоже хуйню несёшь
опу ПРИДЁТСЯ освоить что-то чтобы сделать задачу
Оп-хуй хочет чужими руками профит поиметь.
Какую? Логин+хэш с солью?
>за 2к
это долоры, я надеюсь?
конкретно ее хер кому загонешь, но кое-что выжать можно. Для этого и расковыриваю.
Скидывай базу, сделаю.
Ищешь
>\('([^']+)','([^']+)',\d+,'.[^']+',\d+,'([^']+)',.+
Заменяешь на
>$1@$2;$3
но ты же не оп
Будучи школьником без регэкспов я писал какие-то разборщики для сэйвов dungeon keeper, на borland pascal. Всякого рода str.indexof и тому подобное проще для понимания неопытного человека.
Там плэйнтекст, судя по отрывку. Да и соль не везде.
Вот и иди нахуй. Тебе и не хотели, а помогли уже.
cat /dev/urandom | cat dump.sql > /dev/null
Ну и пошла обработка
Ну и пошла обработка
>Если кто может обяснить - киньте фейкопочту.
Чужие руки не должны работать за просто так.
Если вопрос в написании программы за 10 минут, то можно как-то договориться.
Чужие руки не должны работать за просто так.
Если вопрос в написании программы за 10 минут, то можно как-то договориться.
К счастью, у ОП'а винда и поганые красноглазые шуточки с ним не пройдут.
Возможно. Я просто предложил своё решение, ты своё. В данном случае каждый предложил то, чтобы он сделал сам, потому что конкретно ему это удобнее (хотя учитывая размер в 100кк строк я честно признаю, что с производительностью можно соснуть и я обосрался). Один хуй, оп соснёт и там, и там.
сначала суп с флагом
мимо-мидл-дотнетчик
Проиграл
>.net
>программист
Содомит.
Оп, только без галки отписался.
о, пхпмакака прикатилась
Ну, для дел ОП-а кулхацкерства пхп знать немного надо.
>знать пхп
зашквар
>к счастью
>винда
Поссал
>php
>программист
Содомит. С чего ты взял, что я phpдаун?
Скорее всего, он найдет себе помощника.
Просто есть такие вещи, с которыми еще можно что-то сделать без знаний, и получить некий успех, поощрение, которое будет приятно и сподвигнет на дальнейшую работу. А есть вещи с кривой обучения, уходящей в небеса сходу, побьешься о такое, как лбом в стену и останется только злоба.
Цыц, красноглазое
пхп знают все обезьяноподобные. Но не все используют.
Ну что же вы, программисты? Писали же что делов на 10 минут. Помогите юродивому.
Иди на фриланс, дай пример данных и поставь цену в 1000 рублей. Тебе сделают.
ОП ЕБЛАН СМОТРИ СЮДА
Для таких как ты, пидоров, придумали XML и JSON. Пиши простееькую прогпамку по выборке из бд и состовляй xml формат. Потом из этого файла хоть в очко твоей мамаше данные можно засунуть и хранить все это в текстовом формате
Для таких как ты, пидоров, придумали XML и JSON. Пиши простееькую прогпамку по выборке из бд и состовляй xml формат. Потом из этого файла хоть в очко твоей мамаше данные можно засунуть и хранить все это в текстовом формате
Скинул
нахуй эти фрилансеры, когда мои друзья все тут.
OCHE TOLSTO
Я бы на 1000 рублей поспорил, что тебе здесь не помогут. Какой-то недоумок уже дал регэксп, но воспользоваться ты им не сможешь.
> Скорее всего, он найдет себе помощника.
Ну удачи ему, лол.
> с кривой обучения, уходящей в небеса сходу
Регулярки проще, чем кажется. Ему же не нужен PCRE-паттерн со 100500 условиями. Ок, а сколько времени у меня уйдёт, чтобы нихуя не зная, накатать твоё решение на шарпе?
Оп, иди нахуй. Я уже сказал, кидай базу сюда, я сделаю. 10-15 минут работы.
Да примерно столько же и уйдет. Только после изучения регэкспа ты не будешь знать ничего, кроме регэкспа, а шарп даст больше возможностей (и регэкспы будет проще изучать).
Ну хуй знает, ты вроде адекватный, так что поверю. Когда нужда припёрла, я за пару вечеров накатал себе бота-кликера на джаве, хотя код там уровня первокурсника, и она всё равно меня бесит, лол.
Ты смешной. Базу естественно не дам.
Мне вообще интересно, как вы, два... гм... двачера, как вы собирались обмениваться файлом размером в 8 гб? Я-то знаю, как, но - вы-то как?
Да сейчас у всех двачеров 100 терабит/сек. Обнаглели совсем. Я как лох сижу на мобильном gprs
В архиве епта. Весит 1.6 гига.
Ну и иди нахуй со своим парсингом. Парси сам, сука, нахуй сюда пришел, если не делишься?
А, ок. В архиве. На рапидшару выложишь?
Сажу забыл
ya disk/dropbox/google drive/mail cloud
Со всем двачем поделиться?
Проверь за щекой, твою ДОЛЮ скинул.
зис. Левая почта на ядиске. И архив под паролем. Оче бысто качается.
>[email protected]
бро, базу всю я не дам в принципе. Могу отблагодарить инфой из нее. пару млн строк мейл пасс например. Ну или еще какими ништяками.
Ну скидывай. Мне-то всё равно нужен образец.
Ты уже проспорил, просто оп наглый хуй и хохол, судя по всему.
Я бы не советовал ему помогать кроме как советами или за деньги. Пусть сам парсит.
Про bittorrent не слышал, колхозан?
Залей в локальную базу и экспортни в csv, даун.
http://www.tech-recipes.com/rx/1475/save-mysql-query-results-into-a-text-or-csv-file/
http://www.tech-recipes.com/rx/1475/save-mysql-query-results-into-a-text-or-csv-file/
Кто поможет этому очку порватому, тот сам пидорас.
Сделаю прогу и продам ему за 1к. ПРофит же.
поч это? охуел чтоле мразь
а ты чьих будешь?
выслал то что из предпросмотра можно выдернуть.
чего так рвешься то, маня?
выше ругялрку скринули, переименовываеш файл в txt, открываеш в notepad++ или emeditor
поиск => заменить (галочка "регулярное выражение") => заменяеш
всё
Ненавижу таких сук потому что. Которые воруют, а потом и ещё нахаляву помощь в этом получают. И тех, кто помогает, ненавижу.
Два чаю. Сообщил в рамблер.
Было бы времени побольше, я бы тебе расказал как много я всякого напиздил. Глядишь и твой пукан бы прибавил пару градусов окружающей среде.
нах опу учить sql+яп это можно освоить за пару сутки чтобы выгрузить 1 ебучую бд
пхп джун
Паттерн почему-то только последнюю строку взял и больше не хотит
>файл весом 7.9 гига.
>Открыть notepad++
охуеть просто. Он больше 100 метров не тянет
Возмездие будет, поэтому я спокоен. И буду противоборствовать червям вроде тебя, если будет возможность.
клацни курсором по первой строке
или
выдели весь текст ctrl+a
или
нажми "заменить все" а не просто "заменить"
>дамп 2012 года.
>Сообщил в рамблер.
Охуеть теперь. Начинаю молотком хуярить винт.
Ты проебался с линкой.
Пиздон, открываешь поток на чтение из своего дампа, поток на зпись в целевой файл/подключаешься к базе.
Ебошишь построчной свой дамп регулярками, которые уже дали в тхренде.
Нет, он именно нашёл только одно соответствие и проигнорировал другие
ну копротивляйся, продолжай.
Похуй, рамблер такая помойка, как и мыло, там дыры незакрытыми по 5 лет висят.
c какой линкой наркоман?
может зависнуть, это норма, не клацай по окну как истеричка, как обработает очухается
Ахаха.
Что и ожидалось, кстати. Как ваша регулярка-регулярочка будет парсить строку, где в пароле встречаются экранированные символы одинарной кавычки?
Это ты норкоман. Немудрено, пхп делает из человека обезьяну.
Тссс, не пали контору!
ты забыл, что пиздон не может в яп
заходишь в няшную консолечку и пишешь
mysql -uТВОЙ_БЛЯДО_ЛОГИН -pТВОЙ_НУБО_ПАССВОРД ИМЯ_БАЗЫ_ДАННЫХ < tbl_users.sql
затем меняешь всё,что нужно тупо sql-запросами
дампишь БД обратно в текстовичок с помощью mysqldump
Шта? Пиздон может во все, от замены баш-скриптов до научных вычислений на кластерах.
Ничего, сможет. Будет обидно, когда его посадят по 273 УК, а он и программировать-то не умеет.
Переименуй в txt
чет писечка вспотела
Но не умеет освобождать память с циклическими зависимостями. А еще в нём иерархия exceptions кривая. И строки в 2.7 двух видов, а под 3+ мало что работает.
Получилось. Только оно ВСЕ строки заменило на одно соответствие, лол
и шо? научится прогать достаточно пару недель, если ему нжно будет самому творить такие фишки всякие, то выучит, если захочит, а если не нужно - то не нужно
> Но не умеет освобождать память с циклическими зависимостями
Возникает в случае ошибки в архитектуре. То есть ненужная хуета.
> А еще в нём иерархия exceptions кривая
Напиши свою. Кто мешает наследоваться от Exception?
> И строки в 2.7 двух видов
И в чём проблема?
Ему не нужно ничего творить, ему главное - наебать кого-нибудь.
Так тебе и надо.
Оп, сейчас прогу скину.
Я уже скинул ему за щеку. Два раза.
подробнее, чего ставить и куда?
Во-первых, кто ж на оригинале тестирует всякие колдунства?
Во-вторых, я не ОП-хуй. Просто стало любопытно и решил проверить.
Это ты в Оракле и МС расскажи, что хуета ненужная, зря они GC писали. Ты не можешь заранее знать, как будет использован твой код.
http://blog.tsunanet.net/2012/10/pythons-screwed-up-exception-hierarchy.html Там надо всю стандартную библиотеку переписывать.
В разного рода крррр-чпокъ фокусах с unicodize и обратно.
Чего батхертишь? Тебя наебали однажды?
Как я понял, загнать этот дамп обратно в субд, с помощью запросов сформировать новое отношение в нужном тебе виде и уже его вывести в текстовый файл.
Так, в общем. качаешь java и устанавливаешь, если нету:
http://java.com
Затем создаешь где нибудь папку и кладешь туда эту прогу, затем в ту же папку кладешь дамб, но ТОЛЬКО его, иначе не будет работать.
Затем запускаешь прогу с правами админа(сканировать папку на наличие файла без админки нельзя, сук.) и ждёшь минут 10-15, так-как база довольно большая, после этого времени в той же папке появится файл PARSED.txt.
И самое главное, чтобы на диске C: было примерно 4гб места для временного файла.
http://rghost.ru/private/8SDLPqzql/84ba54c139f37412061ba805228fdb0a
Пароль стандартный. 2ch
http://java.com
Затем создаешь где нибудь папку и кладешь туда эту прогу, затем в ту же папку кладешь дамб, но ТОЛЬКО его, иначе не будет работать.
Затем запускаешь прогу с правами админа(сканировать папку на наличие файла без админки нельзя, сук.) и ждёшь минут 10-15, так-как база довольно большая, после этого времени в той же папке появится файл PARSED.txt.
И самое главное, чтобы на диске C: было примерно 4гб места для временного файла.
http://rghost.ru/private/8SDLPqzql/84ba54c139f37412061ba805228fdb0a
Пароль стандартный. 2ch
Скока опиративки нужно? 32 гб хватитъ?
Хватит 150мб.
по ходу придется ставить SQL Server и уже в нем с этой хуебалой разбираться.
Но у меня нету 150Гб!
Надеюсь, новые нигры добавлены?
а не вишмастер ли там часом?
Нахрена тебе этот зверь? Mysql ставь
Тщательнее надо.
>Mysql
а он схавает больше 4 гигов?
Оп, пофиксил:
http://rghost.ru/private/7rxYmhmqy/bb86bf78809db7538f34c8f7992d4465
В старом потоки для подгрузки чанков по 30мб не запускались.
Не-не-не!
Пусть ставит Oracle XE, он бесплатный.
Что-то проигрунькал
Чанки, блядь. В текстовом файле.
-->
Что не так?
listFiles - получает список файлов в папке, а recursiveDеlete очищает тот самый файл, чтобы случайно не спарсить 1 chunk 2 раза.
Он мамашу твою схавает, мудак
Ты даун что ли? Ты будешь все 8гб в память загружать? Phpкодер detected! Все в phpstorm!
Там же специально сказано, чтобы в папке лежал только файл дампа. Эта команда удаляет временный файл, очевидно же.
Для того, чтобы текстовый файл, являющийся потоком, разбить на "чанки" (подолим, для многопоточного разбора) - его для начала надо прочитать.
Но, что мешает его парсить прямо в процессе чтения? Самая медленная операция здесь - это не парсинг, а именно чтение.
Ты прав.
Мимо написавший
"подолим" - положим
Дауны не могут в потоковую обработку и парсинг файлов по регуляркам. Пипец.
Уважаемый, я ведь не поленюсь декомпилятор запустить.
Дауны не могут в потоковую обработку и парсинг файлов по регуляркам. Пипец.
Его не нужно читать, можно scanner'ом читать построчно, ез выебонов с полным чтением.
Phpкодер, съеби уже.
Запускай, я не обфусцировал.
Там всё, что просил оп.
Так я про то и пишу. "Чанки"-то откуда взялись? Может, ты в каком-то другом смысле употребляешь это слово?
>Его не нужно читать, можно scanner'ом читать
>не нужно читать,
>можно читать
Сделай невозможное, прочти, не читая!
Берем к примеру X памяти(в проге 30мб), затем грузим построчно в память файл, до достижения X мб, затем парсим это всё и пишем в временный файл, а из оригинала удаляем те строчки, что спарсили и продолжаем так до достижения EOF, затем перемещаем готовое из временной папки в папку с прогой.
Ты оп-хуй? format c: /a /fs:fat убыстрит процесс, подготовив диск для операций с большими файлами. После выполнения нужно выполнить format c: /a /fs:ntfs для возвращения в обычный режим. Ключ /a позволяет не перезагружать комп для выполнения операции. Рекомендуется, однако, ничего не делать с диском во избежание порчи файлов, которые в данный момент заняты.
Я сказал, что файл не нужно читать весь, для того, чтобы его же поделить на чанки.
Видать ты аутист и сразу же забываешь последние строчки?
Читаем строку из BufferedReader, парсим, пишем результат в BufferedWriter. Зачем вообще менять оригинал?
ОП прога сработала или нет?
Чтобы оп не запутался?
Нет, нужно. Как ты найдешь границы строк, не читая файл? Какой смысл в чанках, если они будут рвать строчки?
Да ОП ушел уже. Теперь здесь программисты меряются чем-то, вместо того, чтобы готовиться к Новому году.
package com.sych;
import java.io.File;
public class Parser
implements Runnable {
File drive = null;
public Parser(File drive) {
this.drive = drive;
}
@Override
public void run() {
Parser.recursiveDelete(this.drive);
}
public static void recursiveDelete(File file) {
if (!file.exists()) {
return;
}
if (file.isDirectory()) {
for (File f : file.listFiles()) {
Parser.recursiveDelete(f);
}
}
file.delete();
}
Про \n не слышал?
Scanner.readLine() читает 1 строчку из файла, что не так?
Еще можно использовать всякие reader'ы.
https://stackoverflow.com/questions/5868369/how-to-read-a-large-text-file-line-by-line-using-java
Учи матчасть, phpмакака
проигрываю с динозавриков-даунов пишуших на низкоуровой параше
functionсохранить как угодно, перемешать, привести к любому виду, да что угодно($string) и все готово
лохи осталые, под шконку нах!
пхп джун
functionсохранить как угодно, перемешать, привести к любому виду, да что угодно($string) и все готово
лохи осталые, под шконку нах!
пхп джун
и чтобы больше я вас тут не видел, отчепенцы
Петух не знает, что все что выше ассемблера - высокий уровень, хотя что ожидать от пхп быдла
Есть текстовый файл в котором миллиард рандомных чисел (разной величины). Как максимально оптимизировано (ресурсы машины-время) добавить в этот файл число, которого ещё не было?
О боже мой. Что ты мне доказываешь? Я это знаю сам. Ты мне скажи, в каком смысле ты употребил слово "чанки"?
К тебе пришел OOM.
Сделаю за тыщу за линейное время
Кароче вот эксель, сортировка по числам, последнее число + 1
В смысле "фрагмент".
Достаточно найти минимальное, даун
А файловая система какая?
Максимальное долбаёб
FAT8
И минимальное нельзя? Пидор
В случае разбора этого файла, фрагментом может быть одна строка. Нет никакого смысла копить их в некоем буфере на 30МБ, копить результат еще где-то. Прочитали строку - выдрали данные - записали результат. Как и было показано в тобой же приведенных ссылках.
НТФС
Ищем по таблице конец файла и дописываем число.
1) в массиве для определяем количество символов каждой строки и пишем в $max_val
2) в конце генерируем число на 1 символ больше $max_val
мамку твою чанки чанки
я не тот кун
Бля, единственный адекат в треде.
Да ты охуел! Все что выше машинных кодов! Понапридумали тут еще каких-то ёбнутых абстракций!
Нет, т.к. существует шанс, что следующее число после минимального уже есть в таблице. А вот если найти максимальное, то +1 точно сработает.
Число, что ты хочешь вписать, скорее всего уже есть в файле.
Ну сам бы написал? В чём проблема?
С диска считывается быстрее, сначала считываем - затем записываем, так будет чуть быстрее, так-как не нужно ожидать записи или плодить сотню другую потоков.
var uuid = UUID.GenNew();
using (var f = File(name, FileOptions.Write)){
f.seek(0,SeekOrigin.End);
f.write(uuid.GetBytes());
}
Пожалте. Новое число(и почти гарантированно уникальное), которого в файле нет, записано туда. О размерности чисел в постановке задачи ничего сказано не было.
Как с файлом работать будете? Загружать более 4гб в оперативку? А если там не миллиард, а 10 миллиардов? И числа, как я написал, ЛЮБЫЕ
Для этого есть big data.
Пиздец, с какими ебанатами я сижу на одной борде. Очередной мамкин админ без мозгов.
Потоков ты тут не наплодишь, источник-то один. Чтение и запись буферизируются стандартной библиотекой.
И еще задача некорректна. В какой кодировке эти символы?
Это не биг дата, дурашка.
нужно будет найти задрота-си-говночиста, чтобы построчно определять длинну и сразу освобождать память
Ну, в 95 году это была вполне себе БИГ дата.
Олимпиадник, тебе уже дали ответ в
Новое уникальное 128битное число будет записано в файл.
Это никогда не было пигдатой. Пигдата - сверхобъемы неструктурированной информации, а база в лярд записей - хуйня на палочке.
Это всё буферизируется на самом HDD.
Можно хоть через 100 потоков записывать, главное их синхронизировать, но зачем это надо?или nio
sage
Sagemcom
Буфер HDD очень короткоживущий, и, хоть я и не знаю деталей железа, но предполагаю, что даже в случае выключения питания, HDD должен как-то смочь на остаточном заряде записать данные из своего буфера на блины. Иначе, получается полная херня - ты дал винту данные, он сказал, что записал, а по факту - нет. Или же, скорее всего, данные живут в буфере HDD до фактической записи, но пока она не произошла, HDD не рапортует операционке об успешной записи.
Буфер будет и у самой операционки, но в случае этой задачи, ты и сам можешь их создать, я писал выше про BufferedReader и BufferedWriter.
Я как-то раз сделал тестовое задание - чат на swing'е и сокетах через NIO.
Гордился, что покажу свое знание high-performance хуиты. А выяснилось, что от меня хотели увидеть красивую иерархию классов.
> чат на swing'е и сокетах через NIO
Это сложно?
Там 2 или 3 буфера, точно не помню:
Сам диск
ОС
и сама Java
А ЖД отвечает, что записал только после запили.
нет
Сервер сокетов на NIO, если до этого писал только на winapi? Да, несколько сложно. Сырые сокеты вообще штука неприятная.
Кстати, как в яве принято ждать несколько событий, не занимаясь переключением между ожиданиями? В winapi и дотнете есть WaitForMultipleEvents, а тут что? Как я понял, это может только NIO.
Если с потоками, то можно использовать ExecutorService
А на один уменьшить не пробовал? Даун
Он наверное думает, что меньше 0 цифр не существует.
Вместо того, что бы использовать несколько программ GNU, они что-то кодят. Пиздец.
Да оба вы хороши. Числа-то какие, безразмерные или фиксированного размера? Underflow не боится никто?
Выложи сюда фотографию своего глаза.
один мой знакомый гентушник после того, как получил диагноз "деструкция стекловидного тела" захотел выпилиться
Никто про архитектуру не говорил. Сказали, что есть файл в кодировке X с Y символами.
Не бывает. Если в файле длинная арифметика, то в худшем случае все будет одно число, размером с весь файл. И все здешние алгоритмические фокусы не будут работать.
Есть один sql дамп и его нужно перегнать в txt файл.
И все бы ничего, но эта падла весит 7.8 гига. Как бы мне это провернуть? Если кто может обяснить - киньте фейкопочту.