Лингвистический анализ уровня /б/

Всем привет.

В этом треде мы будем выкладывать результаты экспериментов по лингвистическому анализу досок сосача.

Дано:
- JSON API макабы
- Python
- NLTK
- филологическое образование
- EDX 6.00.1x & 6.00.2x

Что уже сделано:
- рабочая, хоть и примитивная объектная модель доски, тредов и постов, а также метод ее наполнения через джсон апи
- ежедневный дамп /б/ пока в текстовом режиме, думаем дампать джсон или при помощи python pickle
- процедура по подготовке текста и превращению его в текст NLTK токенизация, удаление стоп-слов, спецсимволов и прочего мусора
- генерация частотного словаря
- некоторые меры по адаптации функционала NLTK для работы с юникодом.

В тред призываются мамкины аналитики, лингвисты, кодеры и просто все заинтересованные. Принимаются пожелания. Обертка к апи сосача и код анализатора, возможно, будут выложены на гитхаб.

Будем бампать результатами.

Самое очевидное. Частотное распределение словаря /б/, за исключением стоп-слов, таких как частицы, местоимения и другие служебные слова.

>>259756
все еще коряво работает юникод.
перезаливаю.

80 самых частотных сочетаний из двух слов в /б/:

сажа сажа; чих чих; аноним пнд; пнд 91679xxx; подводные камни;
музыкальная совместимость; объединяет любовь; бамп бамп; ответы
аноним; твоя музыкальная; youtube watch; вести пикрелейтед; какие
подводные; пнд 91671xxx; начать вести; сих пор; lastfm user;
пикрелейтед какие; самом деле; хуй знает; остановило дредноута; тюууу
тюууу; хочу начать; чих тюууу; лет назад; гражданская оборона; вск
91602xxx; который смог; аноним вск; бенсон уинфред; боеприпасы
плацдарм; вперемешку соплями; вражеский тыл; городка миль; древнему
кровища; залезли кабину; кабину выдавили; кровавое месиво; культи
дергаются; оборонял батальон; тьма тьмущая; уинфред пейн; хаоситы
повыскакивают; хаоты заложили; ближайшего городка; винтовками
боеприпасы; дредноуту дан; катачанских джунглей; крышка отовсюду;
лазерными винтовками; отовсюду хаоситы; глубине катачанских; гляжу
культи; пейн живым; реку баам; ящики лазерными; баам взрыв; враги
залезли; заложили мост; joy division; высокая объединяет; переходил
реку; такие дела; кровища течет; течет вперемешку; кило пластида;
доставить ящики; повыскакивают оружия; болт пистолет; живым сдается;
месиво кишки; дан приказ; оружия болт; приказ доставить; мост кило;
кишки разбросаны; майор бенсон; arhivach org; каждый день; это
остановило

>>259760
как видите, текст еще достаточно грязен. в него попадают куски макабы, даты и номера постов. надеемся, это уйдет после совершенствования процедуры подготовки текста.

>>259765
В чём проблема нормально спарсить вакабу?

Теперь посмотрим на распределение отдельных слов по доске.
Кстати, пока что объектом экспермента является весь текст /б/ состоянием на сегодняшнее утро.

Пикрелейтед -- распределение слов "тян" и "кун". Как видите, тяночки битарду -- первое слово встречается 314 раз, второе -- всего 134.

А какова цель исследования? Просто в циферки потупить? И где во всём этом использовалось филологическое образование?

ОП, ты охуенен, продолжай. Особенно интересны выводы которые ты можешь сделать из полученной статистики.

>>259772
два чаю.
оп, реквестую:
- эмулятор анона на основе генерации текста по n-граммам
- детектор стиля текста деанонимайзер, чтобы можно было определить, насколько одно полотно схоже с другим
пиши на [email protected], можем скооперироваться

>>259773
Еще
- Зависимость количества ответов от ключевых слов в ОП посте. Генерация успешного ОП поста.

>>259771
>цель исследования
Пока сам не знаю. Пока выходит действительно
>в циферки потупить,
но возможно, скоро у нас появятся какие-то более интересные направления.

>>259773
>эмулятор анона морская улиточка
на примитивном уровне это, вроде, реализовано в самом НЛТК. Там нужно либо создавать кастомнуб грамматику, либо тренировать модель Маркова. В любом случае, это очень интересно. Будем пробовать.
>деанонимайзер
давно уже вынашивается эта концепция. теоретически, она должна быть выполнима. единственная приграда – очень короткие, как правило, комментарии.
>идеальный оп-пост
Думаю, что это тоже возможно. Просто сделаем корреляцию балла, который очень кстати присваивает оп-посту сама макаба, и отдельных слов или даже н-грамм.

>>259772
Спасибо. Надеюсь, все получится.

Ладно, нужно немного поработать.

More to come.

Еще пара экспериментов.

Похожие слова (по методу nltk.Text.similar()):

тян:
мать долларов мамка аноны p животное тянов всё влюбляюсь женой

кун:
увернуться неска гей учусь

хуй:
нахуй нехуй ту говорю знаю берет пару увидел выеби добра нихуя хочет
посте

мамка:
тян мать щас мааам тянка

ДС:
рабы

анон:
хотябы собственно омега наказывать днём жаль сколько

омега:
анон

>>259812
пожалуй, было бы интересно запилить граф, где нодами были бы слова, а вес грани - similarity, и размер ноды и приближенность ее к центру графа - это частотность. вот бы карта двача была, воистину.

>>259814
Цитоскейп тебе в руки. Бесплатно и без СМС.

>>259812
>анон:
>хотябы собственно омега наказывать днём жаль сколько
Ололо, выглядит почти как полноценное предложение.

/р такой же ежедневный анализ /по/ с выводом статистики на отдельный сайт

>>259781
>приграда
Филологическое, говоришь, образование?

>>259893
мильпардон.

>>259881
/по/ - тоже очень интересная идея.
а еще можно sentiment analysis , товарищ майор

>>259893
Очень многие студни-филологи неграмотны, как сельские пятиклассники.

>>259754
Оп, ты-то мне и нужен. Каким образом отдельные посты (тута, на подтираче или на любом форуме), отдельные твиты и так далее (ну ты понел), складывать в отдельные файлы? Есть один крайне продвинутый метод семантического анализа, растуще-иерархические карты Кохонена Andreas Rauber, Dieter Merkl, and Michael Dittenbach. The Growing Hierarchical Self-Organizing Map: Exploratory Analysis of High-Dimensional Data
In IEEE Transactions on Neural Networks, Vol. 13, No 6, pp. 1331-1341, November 2002. IEEE. Авторы метода приводят пример с анализом новостных сайтов, их алгоритм позволяет получить иерархическое разбиение новостей по темам и подтемам http://www.ifs.tuwien.ac.at/~andi/somlib/experiments.html (там кароч текст сначала переводят в векторы с помощью tf-idf, потом полученное обрабатывают собственно GHSOM, если интересно, авторы запилили софт http://www.ifs.tuwien.ac.at/dm/somtoolbox/ http://www.ifs.tuwien.ac.at/~andi/somlib/ ). И короче, нужен какой-то общий подход, позволяющий сохранять отдельные мессаги в отдельные файлы.
>Что уже сделано: - рабочая, хоть и примитивная объектная модель доски, тредов и постов, а также метод ее наполнения через джсон апи
Хотелось бы посмотреть.

>>259935
Анон из треда нетсталкинга sn, ты?

>>259937
Ну да. Там я предлагал похожий анализ выдачи поисковика. Подобная тема когда-то была даже в готовом виде (WEBSOM) но потом все прикрыли.

>>259939
Кандидатскую штоле защищаешь? Чем ещё кроме nlp занимаешься? мимоинтересуюсь, >>259773

>>259941
>>259773

посоны, пора пилить чятик.
такой-то респонс и интерес к этой теме.
[email protected]

>>259935
Выглядит настолько же сложно, насколько интересно. Попробую почитать и врубиться.

>хотелось бы посмотреть объектную модель
я сегодня поломал апи -- как починю -- таки буду выкладывать на гитхаб.

>>259941
Не, просто есть немало идей по применению нескольких алгоритмов, не только GHSOM, а во всякий программизьм практически не могу (а там много надо автоматизировать в смысле сбора данных, те же тексты вручную сохранять заебещься). R немного спасает, но там есть не все нужные алгоритмы.
>>259953
>Выглядит настолько же сложно, насколько интересно. Попробую почитать и врубиться.
Там все просто, если понимать в картах Кохонена, это же дальнейшее их развитие. Собственно, пикрелейтед - вся суть одной картинкой.
>>259773
>детектор стиля текста деанонимайзер, чтобы можно было определить, насколько одно полотно схоже с другим
GHSOM в такое скорее всего может, только первичная карта не способна выявить стиль, нужно делать второго уровня или больше. Но опять же, файлы там хоть и текстовые, но вручную их парсить муторно, а для сборки вышележащих карт это необходимо.

ну все -- создал чятик в шлаке.
приглашаю всех заинтересованных.
отписавшимся уже высланы приглашалки

там же исходник объектной модели.

>>260130

И да, чтобы не морить всех здесь процессом, сюда будем выкладывать, в основном, результаты экспериментов.

Свежее из /по/:
Конкорданс слова "Путин"

да, теперь парсится и /по/раша

>>259754
слушай, может в /crypt/ перекатишься?
А ещё я не вижу исходников.

>>260200
хочешь исходников -- стучись >>259953.

>>260200
Нахуй никому не сдались эти мертвые разделы. Наплодили хуиты теперь рассылают людей по парашам.

>>260197
Оп, а почему именно пистон? Это же параша хуже некуда. Почему бы не R например? Там тоже есть пакеты для работы с веб-контентом. http://cran.r-project.org/web/views/WebTechnologies.html Я уже не говорю о кучах реально работающих алгоритмов обработки данных. Лично мне этого вашего пистона хватило, когда пытался разобраться с Theano. В R хотя бы что-то работает.

>>260294
>почему а-тя-тя

1) потому что я на нем пишу
2) потому что достаточно высокий уровень и почти не долбишься с типами, кодировками, уборками мусора и т.п.
3) потому что много библиотек, в частности для json, графов и главное – NLTK

Единственный нормальный тред в сцы. Пили конфу, няша. Буду присылать коммиты

>>260398
напиши на [email protected]
приглашу в шлак и на репо

ОП, с другого компа

P.S.: пару дней буду занят работой, поэтому разве что побампаю результатами с /по/, отвечу на вопросы и разошлю приглашения в конфу

>>259759
Поменяй оси, я чуть шею не свернул пытаясь этот словарь прочесть.

>>260548
На что поменять?

>>260552
На о щуп.

>>260552
Друг с другом местами поменяй, блядь.

Добрый вечер.

А тем временем у нас первые результаты построения графов частотности и похожести слов в /б/ по мотивам >>259814.

Это – очень предварительный результат. Узлы еще нужно подписать и соотнести их вес с частотностью слов, а длину граней хорошо сделать пропорциональной похожести слов по методу nltk.Text.similar().

Интересна статистика также и по сцаю, интересно сравнить с бе. Насколько популярны радиопидор и шизик? какова динамика?

>>261375
Отвечаю.

Гистограмм пока нет, но они в проекте.

>>261388
Покажи вот это вот >>259759 по /sci/

>>261394
Хуямп. Оп, почему ты забросил шлак? Я пришол.

>>262042
Я тут. Просто вчера закрывался экзамен по 6.00.2х.
Возвращаюсь сегодня.

Бамп, ребят. Мы возвращаемся. Граф обретает вменяемую форму. Это – из бэ.

я когда то делал детектор россиянина. получилось самые распросраненные слова

НЕ В И НА В А ТО Я
бля буду

а в коране -наказание

>>268613
Круто! А код есть?

>>268617
Это java script
считает слова в диалоге вк. первое и второе поле это имя в диалоге вк двух людей например Петя Полина
третье поле туда копируется текст диалога вк

<html>

<head>
<!-- <meta http-equiv="refresh" content="150"> -->
<title>

__САМЫЕ ЧАСТЫЕ СЛОВА_
</title>
</head>

<body>
<script type="text/javascript" >





//выдрать из ЛС сообщения конкретного чела




im1=prompt("введите имя чела чьи сообщения затереть","Маша")
im2=prompt("введите имя чела чьи сообщения ОСТАВИТЬ","Саша")
str=prompt("Введите ленту ЛС "+im1+" - "+im2,"ЗОНА КТРЛ В")
str=str.toLowerCase()


fak1=im1
fak2=im2
reg1=new RegExp(fak1, "img")
reg2=new RegExp(fak2, "img")


//masbezodin
mbo=[]
m1=[]
m2=[]
v=[]

mbo=str.split(reg1)
lena=mbo.length

en=0
while (en!=lena)
{

if ((mbo[en]).search(reg2)!=-1)
{

v=mbo[en].split(reg2)
m1[en]=v[0]
m2[en]=v[1]
en++
}
else
{
m1[en]=mbo[en]
m2[en]=""
en++
}

}

st1=m1.join(" ")
st2=m2.join(" ")
l1=st1.length
l2=st2.length
document.write(im1+" знаков=")
document.write(l1)
document.write(" <hr>")
document.write(im2+" знаков=")
document.write(l2)
document.write(" <hr>")

amat1=[]
amat1=st1.match(/ /gim)
amat2=[]
amat2=st2.match(/ /gim)
amal2=amat2.length
amal1=amat1.length


document.write(im1+" слов=")
document.write(amal1)
document.write(" <hr>")
document.write(im2+" слов=")
document.write(amal2)
document.write(" <hr>")

aver1=l1/amal1
aver2=l2/amal2

document.write(im1+" среднее количество знаков в слове=")
document.write(aver1)
document.write(" <hr>")
document.write(im2+" среднее количество знаков в слове=")
document.write(aver2)
document.write(" <hr size=5>")
//vsetvoislova
vts1=[]
vts2=[]

vts1=st1.split(/ ? ? ? ?/gim)
vts2=st2.split(/ ? ? ? ?/gim)
/////////////////zona PEREDELA
fun=function(x,y){
if(x.length>y.length) return 1
if(x.length<y.length) return -1
return 0
}
nom1=vts1.length
nom2=vts2.length
vts1=vts1.sort(fun)
vts2=vts2.sort(fun)
trun=true
x=0
while (trun){
if (vts1[x].length>4) {trun=false; fixer=x}
x++
}
vts1=vts1.slice(fixer,nom1)
trun=true
x=0
while (trun){
if (vts2[x].length>4) {trun=false; fixer=x}
x++
}
vts2=vts2.slice(fixer,nom2)
nom1=vts1.length
nom2=vts2.length
//тут массив слов чела а второй массив это количество повторений этого слова
//
spis1=[]
ns1=[]
spis2=[]
ns2=[]
//

document.write("<hr>")
document.write(nom1)
document.write("<hr>")
document.write(nom2)
document.write("<hr>")
document.write("<hr>")
document.write("<hr>")
document.write("<hr>")
document.write("<hr>")
//
x=0
z=0
v1=[]
v1[0]="start"
svindex=[]
svindex[0]=1
while (x!=nom1)
{

slovo=vts1[x]
dlena=v1.length

y=0
tr=false
while (y!=dlena)
{

sr1=String(v1[y])
sr2=String(vts1[x])
if (sr1==sr2)
{tr=true
//////
mettka=y
y=dlena-1
}
y++
}
if (tr)
{

svindex[mettka]=svindex[mettka]+1
}
else
{
v1[z]=vts1[x]
svindex[z]=1


z++
}


x++
}

// ТУТ КОЛИЧЕСТВО МАКС СЛОВ
nj=60

njj=0
sle=svindex.length
while (njj!=nj)
{
maxer=Math.max.apply(Math, svindex)

x=0
while (sle!=x)
{
if (svindex[x]==maxer)
{
document.write(maxer)
document.write(" - ")
document.write(v1[x])
document.write("<hr>")
svindex[x]=0
}
x++
}

njj++
}
document.write("<hr>")

document.write("<hr>")

document.write("<hr>")

document.write("win1")
///////////vtor chel
x=0
z=0
v2=[]
v2[0]="start"
svindex2=[]
svindex2[0]=1
while (x!=nom2)
{


dlena2=v2.length

y=0
tr=false
while (y!=dlena2)
{

sr1=String(v2[y])
sr2=String(vts2[x])
if (sr1==sr2)
{tr=true
//////
mettka=y
y=dlena2-1
}
y++
}
if (tr)
{

svindex2[mettka]=svindex2[mettka]+1
}
else
{
v2[z]=vts2[x]
svindex2[z]=1


z++
}


x++
}

// ТУТ КОЛИЧЕСТВО МАКС СЛОВ
nj=60

njj=0
sle=svindex2.length
while (njj!=nj)
{
maxer=Math.max.apply(Math, svindex2)

x=0
while (sle!=x)
{
if (svindex2[x]==maxer)
{
document.write(maxer)
document.write(" - ")
document.write(v2[x])
document.write("<hr>")
svindex2[x]=0
}
x++
}

njj++
}




document.write("<hr>")

document.write("win2end")
</script>
</body>

</html>

>>259774
А вот это - годно.

>>259774
Успешным постом будет максимально противоречивый набор слов, вызывающий срачи. Успех уровня /b/.

>>259774
Хохлы, пидорашки, ЕОТ, мамка.

>>259760
Построй цепь Маркова для генерации типичного текста /b/

>>268645
Очень крутая идея. Более того, в NLTK есть такой функционал, поэтому это должно быть несложно. Добавляем идею в вил-лист.

>>268656
*виш-лист, (смех).

>>259760
Хаоситы что-то слишком часто. Но не удивительно, я всегда знал что двач - портал хаоса.

>>259754
Годный тред

Я нихуя не понял. Это типа нумерологии?

>>268876
Нет, бро. Это – попытки заниматься точной наукой.

>>268884
А результат какой?

>>268907
Да, долго. Но я расту. А покажи что-то свое, с высоты так сказать птичьего полета?

>>270330
Хорошо, но я все еще не вижу примеров высокоуровневый научных достижений с твоей стороны.

>>270352
Что!! Филасаф что ли?

>>259759
>филологическое образование
Где морфологический анализ слов? У тебя же «иди» и «иду» за два разных слова считаются, а это портит всю статистику.

>>270388
Ну вот те же частотыне списки слов без выделения начальных форм имеют большую погрешность.

>>270381
Это предусмотрено. При подготовке текста есть опция включить стеммер, который обрезает морфологические окончания.

Кстати, это очень влияет на структуру графа. Связей становится как-то слишком много.

Кстати, несмотря на то, что я сейчас очень занят на работе, прогресс есть, хоть и совсем крохотный. Для начала, мы переехали на питон3, что решило большинство проблем с юниконом. Теперь мы ищем, как сохранять слепки досок двача в объектной модели, а не в виде простого текстового дампа. В перспективе – формирование корпуса не из единого куска текста, а сегментированного по времени, треду, его рейтингу и другим параметрам. Это не считая собственно лингвистических экспериментов а-ля построение цепочек Маркова с последующей генерацией текста анона, частотность н-грамм и другого.

>>270401
Ты у мамы дурачок?
>>270402
Так если предусмотрено, почему на этих >259759 >>259756 графиках у существительных не выделены начальные формы? Слово «жизнь» считается два раза в форме «жизнь» и «жизни». Собственно перед анализом русских текстов нужно было заняться этой проблемой в первую очередь, иначе все результаты будут очень неточными.

>>270407
>У людей могут быть очень много разных причин считать количество разных словоформ в тексте считая и однокоренные.
Безусловно, но здесь причина, очевидно, кроется в том, что человек не смог написать алгоритм выделения начальных форм.

>>270416
Ну если его задача провести частотный анализ комбинаций символов между пробелами, то да, только это не лингвистический анализ.

>>270419
Ну точно дурачок.

>>270422
У-тю-тю, крупицы информации из научпопа не помогут тебе сойти за эксперта, дорогуша.
> которые по статистике количества именно словоформ определяют принадлежность к тому или иному автору или эмоциональной тональности.
Только при чём здесь этот тред, где никакие словоформы вообще не выделяются.
>>270423
К сожалению, я пока единственный, кто в этом треде заметил слона в комнате, а ты иди дальше словоформы пересчитывай, дурачок.

ОП, чем обмазаться, чтобы такое уметь?
В питоне есть встроенные библиотечки помогающие парсить?
Или ты get-ом тянешь?

>>270441
а ты тоже хочешь что-то привнести в проект? стучись: [email protected]

>>270441
>библиотечки помогающие парсить?
Почти во всех рантаймах реализована функция Split для строк. Собственно Делишь строку по пробелами и считаешь одинаковые кусочки. Вот и всё, что делает оп. Графики можешь хоть в экселе фигачить.

>>270456
Это не так. Токенизация, если это имеется ввиду, делается силами библиотеки nltk.

>>270480
Что почитать то по теме?
И откуда у тебя умение программировать руками, если ты филолог

>>270481
по библиотеке читать http://www.nltk.org/book/ ,
питон учить можно по codecademy, на edX, да и книжек по нему очень много.

>>270481
Если хочешь почитать на русском - плохие новости для тебя. А так, документация к софту и ссылки из оттуда. И да, пистон я таки не одобряю, слишком костыльно.

>>270480
Только NLTK плохо справляется с русским языком. Посмотрел тут алгоритм стемминга http://snowball.tartarus.org/algorithms/russian/stemmer.html это довольно забавно. Для серьёзной обработки русского языка нужны инструменты получше, http://www.abbyy.ru/isearch/compreno/ а твоя nltk тупо русский текст по пробелами делит. Для русского языка ведь даже корпусов особо нет в интернете.

>>270488
пистон я таки не одобряю, слишком костыльно.
Что не костыльно?

>>270492
и правда, справляется не ахти. Стемлер совсем несовершенный. Про компресса знаю, но открытого АПИ, чтоб поиграться вот так, у них нет. Тем более его пилят лучшие профессиональные лингвисты страны – в аббии дурачков не берут. А НЛТК – кодопомойка, которая даже, как сегодня оказалось, не вся корректно работает под Питон 3. во втором были невероятные проблемы с юникодом. Что мы можем сделать в этом случае? Вот и пишем баги, читаем код, может законтрибьютим чего.

>>270542
>компресса
то есть компрено

>>270497
>Что не костыльно?
Для дата сайенс очевидно R.
>>270545
Клован, плиз.

Бляя.
Кто-нибудь может простыми словами пояснить что таким образом можно открыть, например? Что так просто не очевидно.

>>275045

Я проанализировал твой пост и сделал вывод, что ты долбоеб.

>>275059
>
>Я проанализировал твой пост и сделал вывод, что ты долбоеб.
Кстати проанализировав твой высер, я понял, что мамку твою ебал.

>>275502
>>275059
Проанализировал вас. Если вы понимаете, о чём я.