С пандой я раньше не работал, так что пилить буду долговато. Ща сделаю график количества постов в минуту.
Бампецкий
Уфф, блядь, пришлось поипацца, но вот. По горизонтали - время публикации (разбито на сегменты по пять минут), по вертикали - количество постов.
То же самое, но для тредов.
Среднее количество слов на пост.
Средняя длина оп-поста - 136 символов (без учёта разметки), обычного поста - 27.
19.2 и 3.5 для оп-постов и обычных соответственно.
Сколько "+15"?
Сколько процентов постов, содержащих "ОП" также содержат "хуй"?
Средний размер файла - полтора мегабайта. Характерно что медианный размер - всего 180 килобайт. Что это означает? Что есть несколько дохуя больших файлов, но мелких всё же куда больше.
Лол, всего один - >>122172165
Все, двач может смело превращаться в свитор.
/thread
все любят распределение Гаусса, все любят распределение Гаусса, все любят распределение Гаусса, все любят распределение Гаусса, все любят распределение Гаусса, все любят распределение Гаусса, все любят распределение Гаусса, все любят распределение Гаусса, все любят распределение Гаусса, все любят распределение Гаусса - это так, для статистики :3
В Ольгино экономят.
Медиана ещё меньше (0 и 11), что означает что больше половины (!) оп-постов - пустые. Ну и больше половины постов содержат меньше 15 символов.
Можно ли сказать, что 11% ОПов - хуи? Относишь ли ты себя к этой категории?
Сколько процентов сообщений имеют в себе слово трап?
Leet speak, bitch!
Ryadom
Нет, нельзя. Мы не знаем распределения постов по тредам, вполне возможно что все эти посты сосредоточены в двух-трёх тредах. Себя не отношу.
Годный тред, анонимус одобряет.
Пять штук, меньше трёх сотых процента.
Тупой тред
g
Сколько тредов превысило бамплимит? Абсолютно и процентно.
И на сколько постов превышен?
Бля.
Среднее количество постов в треде
t_t
Всего три.
в шахту иди пидор
Шахтер, не могущий в статистику, порвался.
120. Медианное - 52, что означает что большинство тредов имеет куда меньше постов чем в среднем.
А причем тут игрушка из оп-поста, про червячков? Что ты там считал?
Сколько раз упоминали слово абу/макака и сколько это процентов?
Какой процент сообщении имеют в себе корень - пил.
Сколько всего даблов, триплов и квадриплов
А вот например размер вебмок в среднем - шесть мегабайт и распределение нормальное, потому как среднее и медиана у них практически одинаковы.
Вут? Python - язык программирования, с помощью которого я всё это считаю.
48 постов, чуть более четверти процента.
Я бы по граматике хотел узнать подробности.
Блять, я говорю про http://slither.io
13 постов, менее десятой доли процента.
Да это просто какой-то пост с ней попал в выборку.
Что именно?
Грамматика
Ошибки в тся/ться.
Вообще, у меня была идея создавать 2-3 треда в неделю о грамматике, попутно собирая статистику и через какое-то время узнать можно, помогают подобные треды или нет. Но срезом в один день тут не обойтись.
Бля, ОП, ты сдулся?
Нет, пытаюсь по реквесту вытащить даблы и тыды. Чёт регэкспы как-то не очень правильно работают.
Так перебери их в цикле, не тупи
Тьфу, блядь. Чёт панда никак не хочет с бэкрефами дружить, ну и поебать. Какие ещё реквесты кроме даблов/триплов? Те тоже ща сделаю.
Как часто встречалось слово "демон"?
ОПЧик а твоей прогой можно другой сайт проанализировать? и вообще знающие аноны где можно узнать почасовую динамику посещяймости сайта?
Во, смотри пикрил.
Другую доску двача - изи, хоть прям щас. Под другой сайт надо будет делать новую.
Трижды.
Блин, годный тред. Но никого нет.
Самые часто встречаемые слова
Ну вот тут скорее всего нихуя не выйдет. Глубокий анализ сообщения, серьёзно? Хотя ща гляну сколько там вообще тся/ться встречается.
361 пост с тся/ться есть, но сколько там ошибочных употреблений сказать нельзя, на эту тему вполне можно дипломную работу в вузе забабахать и ещё работы на магистерскую может останется.
А вот это интересно, ща запилю.
Сколько раз писали слово "сап"?
Блин, а можно проверить весь массив на индекс удобочитаемости Флеша. Пикрил.
картинку только у меня пидорасит?
Бля, хотя со слогами проеб же, сорри. Но было бы интересно.
Нет. Это из за альфа канала. У графиков верху у опа такая же фигня.
Лол. Полезный инд?
>Полезный инд
Индекс как индекс. Можно было бы сравнить доски между собой, дажст фо фан.
Может какой-нибудь лингвист зайдет, посоветует что-то интересное.
>искать слова с тся/ться
>проверять по словарю
Что-то ты загнул.
Уфф. Короче, более менее уникальных слов без учёта морфологии и с отсевом явного мусора - 30к. Что с ними делать?
Это без учёта слов с длиной 3 и меньше, там слишком много предлогов.
Самые частые интересно посмотреть, только отсортированные по частоте. Может залить лучше куда нибудь, на rghost там или на pastebin.
Покажи самые частые 50
Кстати, да - залей, может какой-то упоротый двочер сделает контент-анализ.
Хoрoший трeд.
Тoлькo нyжнo бoльшe дaнныx, oп.
Тoлькo нyжнo бoльшe дaнныx, oп.
Первые пятьдесят, отброшены все слова с длиной менее 5
глава 184
только 115
просто 108
когда 81
может 79
будет 77
можно 77
травля 70
вообще 60
этого 59
потом 59
очень 53
чтобы 52
какой 47
нахуй 46
лучше 46
теперь 45
время 44
потому 43
нибудь 38
диванон 38
блять 37
сейчас 37
после 37
который 37
через 37
ничего 36
делать 35
набегаем 35
нужно 35
деньги 35
почему 34
всегда 34
более 34
такой 33
можешь 33
первый 33
больше 33
тогда 33
хочешь 33
говно 32
совсем 32
вроде 31
оружие 30
оптус 30
никогда 30
стоит 29
работать 28
немного 28
блядь 27
А тебе что нужно-то? Может и так получится вытащить.
>просто
Вся суть двача
Дa вooбщe, чтoбы выбoркa пoрeпрeзeнтaтивнeй пoлyчилacь.
А мнe ничeгo нe нyжнo, я пьян и вeceл.
Спасибо, оп, за годный тред.
Вот бы исходных данных побольше было.
Вот бы исходных данных побольше было.
Может можно как-то архивач распарсить? Хотя получится, что проебется огромный пласт тредов.
16, из них только 6 - как приветствие, остальные всё частями в других словах.
Выборка по тредам, которые оказались дороги чьему-то сердцу. Ценно само по себе, не?
припекло
вкинь код, если не жалко
Нy и прaвильнo, вcякoe гoвнo yрoвня "двaч я пocрaл" oтceeтcя.
Да наверно можно, но там еботни больше будет. Макака-то готовое апи предоставил, которое я и юзаю.
Ты пользоваться-то умеешь? Там с одной установкой требуемого софта заебёшься, если не делал никогда подобного.
Катя?
Так выложи на nbviewer и всё будет ок: кто не умеет, сможет посмотреть, а кто умеет сможет взять.
ОП, ты мудак. Частотность сама по себе ничего не значит.
10 даблов на 100 постов
10 триплов на 1000
Итд
Воннаби ml? Пиздуй отсюда нахуй, это тупой поебенью на перле можно собрать. Аналитику хуев.
Меня попросили, я запилил, чего тебе не нравится?
Бля, а вот это хорошая идея. Щас. Только я там код для всякой мелочёвки постоянно перезаписывал, так что хз поможет ли оно кому-нибудь незнающему особо, лол.
Иди на перле графики порисуй. Да и тащемта, не нравится - сагаскрываешь, да и всё.
graphviz для этого есть, долбоебушка
Да мне поебать, я обфускаторами кода всё равно не пользуюсь. Тебе штоле делать нехуй? Иди да запили такой же тред на перле.
Опчик, кидай jupiter notebook
>на перле можно
На чем угодно можно, ебанько.
sage
Это тебе делать нехуй.
>Я распарсил бесполезную кучу json, могу сказать сколько за сутки было картинок и сколько раз сказали "хуй". Я охуенен?
R в следующий раз возьми, школочи из /b/ точно оценят.
Мoжнo мoнитoрить чиcлo cлoв, xaрaктeрныx для биoпрoблeмныx трeдoв (или чиcлo пocтoв в ниx), и yзнaвaть кoгдa шкoльники приxoдят из шкoлы.
Тoлькo зaчeм?
Тoлькo зaчeм?
>Я распарсил бесполезную кучу json, могу сказать сколько за сутки было картинок и сколько раз сказали "хуй". Я охуенен?
Чего у тебя бомбит так?
>R в следующий раз возьми
Пройди в следующий раз нахуй, ебанько.
-кун не любит перл и пытается указать на тривиальность задачи.
Блокнот на гитхабе - https://gist.github.com/Amareis/b0a723e698783929c5b1f6c81d412f85
Возможен диванон, но похуй уж.
Возможен диванон, но похуй уж.
А можно мониторить интересные темы почти риалтайм. И перед заходом на двощ видеть стоит ли туда идти вообще.
Оп хуй. А так годно, Скинь код.
Нe cтoит.
Вообще говоря, по отпечатку треда (включающему в себя, кроме слов, ещё и структуру приложений) можно примерно 50% тредов довольно точно категоризировать.
Ну да, нехуй. Я об этом ещё в оп-посте написал.
У кого-нибудь есть хоть какие-нибудь мысли как это можно применить? Я прост чёт не особо вижу.
Рaкoмeтр — измeряeт cooтнoшeниe типoвыx рaкoвыx (webm, фaп, рyлeтки) трeдoв к oригинaльным.
,я на питоне в качестве ознакомления написал парсер который искал посты на двоще с нужным словом и заливал в вк в лс пикчу сам пост и ссылку тогда еще апи не было. мне доставило.
Что за слово?
ну сам задаешь же. сперва «пикрандом», потом тян
цп
Оп, красавчик. Стукани на фейк [email protected], есть мысли, как это можно поразвивать.
А чё значит?
Дело было вечером, делать было нечего, поэтому я взял в руки змею и панду (Python и Pandas, для тех кто в теме) и решил немного развлечь обитателей /b/.
Суть проста - вы запрашиваете какую-нибудь простую статистику о b, дабл - думаю, трипл и более - делаю.
Доступен для анализа снапшот /b/ на 2016-04-02 20:21:21 UTC, то бишь на полдвенадцатого ночи 2 апреля. 147 тредов, 17869 постов (включая оп-посты), 6776 изображений.
На пике примерная доступная структура данных, но она немного почищена от лишних полей.
Если кому надо, могу код или даже весь jupyter notebook кинуть, мне не жалко.