Блоґ одного кібера

Історія хвороби контуженого інформаційним вибухом

Стохастичний метод оцінки словникового запасу (ідея для диплому)

leave a comment »

Ідея для диплому зі статистики. Або з якоїсь там лінгвістики. Власне я опишу лише задачу, тому що прибираю на столі, і цей листочок пора викинути. Тому що часу на її розв’язання я не маю. Але буду радий якщо хтось захопиться ідеєю і втілить.

Суть задачі в наступному. Ми хочемо оцінити скільки слів певної мови людина знає. Єдиний тест, який дасть 100% точні результати – взяти словник, і питати людину кожне слово. Тільки от біда, що для цього тесту потрібно часу більше ніж будь-хто захоче витратити. Тому кількість слів про які ми питаємо варто суттєво зменшити.

Якщо ми даємо користувачу питання чи знає він певне слово, і він відповідає “так”, ми можемо сказати що розподіл ймовірностей щодо кількості слів що він знає більший за певний, а якщо “ні” – менший за певний.

Тепер, нехай у нас є частотний словник. Маючи частоти для слів, ми знаємо ймовірність того що випадково обране в тексті слово – це слово w = p_w. І нехай, якщо користувач знає слово w, то всі слова що йшли в тексті до нього він теж знає. Скільки слів він прочитав? Ймовірність того що лише одне w – p_w, одне крім w – (1-p_w) p_w. N крім w – (1 - p_w)^N p_w. Розподіл Пуассона, якщо я не помиляюсь.

Інше питання – яка залежність між кількістю слів певного тексту, які людина читає і кількістю різних слів серед них? Якщо слово одне, то 1. Якщо два різні – теж 1, а два однакові – \frac{1}{2}. Три – 1, \frac{2}{3}, \frac{1}{3}….

Ах, і якщо хто хоче зайнятись цим, або іншим проектом пов’язаним з комп’ютерною лінгвістикою – можу допомогти вам отримати корпус текстів вікіпедії, звертайтесь.

Для англійської вже є такий тест: http://testyourvocab.com/. деталі його функціонування.

Advertisements

Written by bunyk

Листопад 4, 2013 at 01:04

Залишити відповідь

Заповніть поля нижче або авторизуйтесь клікнувши по іконці

Лого WordPress.com

Ви коментуєте, використовуючи свій обліковий запис WordPress.com. Log Out / Змінити )

Twitter picture

Ви коментуєте, використовуючи свій обліковий запис Twitter. Log Out / Змінити )

Facebook photo

Ви коментуєте, використовуючи свій обліковий запис Facebook. Log Out / Змінити )

Google+ photo

Ви коментуєте, використовуючи свій обліковий запис Google+. Log Out / Змінити )

З’єднання з %s

%d блогерам подобається це: