word_frequency

Word Frequency

This repository contains a simple python script to extract trigram, unigram and bigram word frequency of given text files using nltk.

Usage

From command line run python script like below:

python3 word_frequency.py --directory <path/to/text/files>

Persian Word Frequency

The result for Persian Language extracted from Hamshahri Corpus is available here. Hamshahri corpus is a large corpus in Persian language. Also you can find other resources for Persian language here.

Here is the lst of top 100 words in Persian Language:

Rank	unigram	bigram	trigram		Rank	unigram	bigram	trigram
1	و	است که	با توجه به		100	داده	که می	کرده است که
2	در	می شود	می شود و		101	بوده	مربوط به	کرد به گزارش
3	به	در این	این است که		102	اقتصادی	ایران در	پیش بینی شده
4	از	که در	با اشاره به		103	کردند	کنند و	می شود وی
5	که	را به	است که در		104	جامعه	دارد و	است و به
6	می	می کند	در حال حاضر		105	دارند	شده بود	می دهد و
7	این	شده است	در حالی که		106	ماه	که برای	را به خود
8	را	را در	می شود که		107	همین	شد که	اعلام کرد که
9	است	است و	می کند و		108	سه	سال گذشته	با این حال
10	با	خود را	نشان می دهد		109	هایی	پیش بینی	در این کشور
11	های	و در	در این زمینه		110	جهان	و گفت	روز سه شنبه
12	برای	از این	خود را به		111	منطقه	نیز در	در این مورد
13	آن	و به	به نظر می		112	اجتماعی	ای از	و آن را
14	ها	که به	آموزش و پرورش		113	سیاسی	خواهد بود	گزارش خبرنگار ما
15	یک	پس از	برگزار می شود		114	عراق	نشان می	شده است به
16	شود	به این	جمهوری اسلامی ایران		115	روی	برنامه های	انجام می شود
17	شده	می کنند	خود را در		116	شورای	می دهند	می تواند به
18	خود	به عنوان	نظر می رسد		117	افزود	هایی که	را می توان
19	کرد	یکی از	مجلس شورای اسلامی		118	توسعه	می توانند	های خود را
20	ای	در سال	به گزارش خبرگزاری		119	همچنین	رئیس جمهوری	گزارش روابط عمومی
21	شد	ها و	که در این		120	فیلم	به آن	فرهنگ و ارشاد
22	سال	که از	می شود در		121	شوند	به دست	با اعلام این
23	تا	را از	است که به		122	گرفته	است از	در مقایسه با
24	کند	است در	می کنند و		123	مجلس	داشته باشد	که می تواند
25	بود	کرده است	از سوی دیگر		124	چند	پیش از	و ارشاد اسلامی
26	بر	می دهد	می کند که		125	بیشتر	سازمان ملل	می کند به
27	ایران	و از	می دهد که		126	زمینه	دارد که	مقام معظم رهبری
28	کشور	از آن	خود را از		127	سوی	بر این	به گزارش روابط
29	هم	و با	به عنوان یک		128	حضور	ها به	در ارتباط با
30	گفت	به گزارش	حمل و نقل		129	بسیار	به گفته	گفته می شود
31	نیز	از سوی	شده است که		130	فرهنگی	می رود	آغاز می شود
32	دارد	که با	که در آن		131	ایجاد	حال حاضر	است وی افزود
33	وی	بود که	به گزارش خبرنگار		132	تنها	اند و	شده است این
34	کنند	آن را	کرد و گفت		133	توان	وی افزود	به گفته وی
35	کرده	که این	می شود به		134	ادامه	ممکن است	از آنجا که
36	ما	می تواند	شده است و		135	بازی	از یک	شده است وی
37	اما	بیش از	به گونه ای		136	شدن	قرار می	و به همین
38	اند	در مورد	آن است که		137	جهانی	آنها را	بود که در
39	یا	در حال	و پس از		138	هیچ	حالی که	و از این
40	دو	نسبت به	به همین دلیل		139	تولید	می شد	را که در
41	باید	کرد و	است در این		140	تواند	داده است	نیز در این
42	تهران	بین المللی	گفت وگو با		141	میلیون	او را	فکر می کنم
43	قرار	است به	با استفاده از		142	وزارت	به کار	است که می
44	هر	خواهد شد	سازمان ملل متحد		143	زندگی	برنامه ریزی	می گیرد و
45	آنها	شود و	در این باره		144	جدید	وی در	مورد بررسی قرار
46	او	می گوید	را به عنوان		145	نفر	برخی از	کرده اند که
47	دیگر	را برای	است و در		146	قانون	تیم ملی	سرمایه گذاری در
48	خواهد	توجه به	به شمار می		147	میان	به همین	در سال گذشته
49	مورد	در آن	است که از		148	سرمایه	در بخش	تیم ملی فوتبال
50	باشد	و این	در عین حال		149	کشورهای	ایران و	هر یک از
51	نمی	می شوند	قرار می گیرد		150	بعد	قبل از	در یکی از
52	کار	می توان	در پاسخ به		151	کنیم	این طرح	پیش بینی می
53	روز	شده و	را از دست		152	نام	شرکت های	شد در این
54	سازمان	را با	می شود این		153	اینکه	علاوه بر	در این خصوص
55	شرکت	و یا	است که با		154	زمان	می کرد	می رسد که
56	مردم	به طور	شده است در		155	دلیل	آموزش و	وزیر امور خارجه
57	دولت	این که	این در حالی		156	اول	شود در	که یکی از
58	عنوان	با این	است که این		157	بررسی	می باشد	را در اختیار
59	اسلامی	کند و	به هر حال		158	کاهش	نظر می	وزارت امور خارجه
60	پس	شد و	به طوری که		159	کردن	از نظر	که از این
61	بین	کرده اند	در حالی است		160	ولی	این زمینه	این بود که
62	برنامه	این کشور	حالی است که		161	برخی	برگزار می	می کند این
63	دست	است این	وجود دارد که		162	وزیر	هسته ای	در رابطه با
64	وجود	بوده است	ای است که		163	قیمت	به یک	می تواند در
65	پیش	به صورت	می توان به		164	نه	گرفته است	در بسیاری از
66	نظر	از جمله	در صورتی که		165	حتی	آن به	گزارش خبرنگار همشهری
67	گروه	را که	و در این		166	آموزش	در اختیار	قرار می دهد
68	گزارش	بعد از	به این ترتیب		167	اشاره	خواهد کرد	در کشور ما
69	صورت	به دلیل	می کنند که		168	نشان	نیز به	در این دیدار
70	اگر	استفاده از	به نقل از		169	نسبت	به منظور	این کار را
71	حال	بسیاری از	شد به گزارش		170	آغاز	شورای اسلامی	مورد توجه قرار
72	همه	در حالی	در نظر گرفته		171	کتاب	کند که	بهره برداری از
73	تیم	با توجه	پس از آن		172	درباره	در تهران	می کنند در
74	هستند	سرمایه گذاری	محسوب می شود		173	بیش	شد در	علاوه بر این
75	رئیس	اعلام کرد	به این که		174	شما	در نظر	ای که در
76	یکی	را می	با بیان این		175	گفته	می آید	و در نتیجه
77	اعلام	کرد که	قرار گرفته است		176	عمومی	به نام	انتخابات ریاست جمهوری
78	طرح	جمهوری اسلامی	در گفت وگو		177	توسط	کرد در	هایی که در
79	من	وجود دارد	است به گزارش		178	آینده	است با	به عنوان مثال
80	شهر	ها را	خبرگزاری جمهوری اسلامی		179	پایان	این کار	کرده اند و
81	دهد	شده اند	با تاکید بر		180	چنین	هستند که	می شود اما
82	انجام	شود که	وی با اشاره		181	بار	در صورت	اشاره به این
83	آمریکا	به نظر	آن را به		182	دوره	می کنیم	گروه علمی فرهنگی
84	بخش	ها در	در این میان		183	المللی	در میان	است و از
85	نیست	می گیرد	و برنامه ریزی		184	طور	ناشی از	برای اولین بار
86	گذشته	اشاره به	گزارش خبرگزاری فرانسه		185	تر	گفت وگو	برای جلوگیری از
87	داد	می رسد	خود را با		186	دانشگاه	اما در	پیدا می کند
88	هزار	این است	می کند در		187	بودند	اند که	برای رسیدن به
89	بی	ای که	که پس از		188	هفته	در پی	به گزارش ایرنا
90	استفاده	است اما	می شوند و		189	افراد	و پرورش	می شود گروه
91	درصد	است وی	در سال های		190	تمام	از دست	گفت و گو
92	داشت	در یک	پیش از این		191	فعالیت	های مختلف	اشاره کرد و
93	جمهوری	از طریق	صورت می گیرد		192	گیرد	آن در	کرده است و
94	داشته	در کشور	که در سال		193	مختلف	سال جاری	در همین حال
95	چه	در ایران	از این رو		194	بزرگ	به دنبال	شده اند و
96	افزایش	کرده و	را در این		195	امروز	شده در	را به دست
97	ملی	بود و	است و این		196	گرفت	می کنم	به طور کلی
98	توجه	در زمینه	در سال جاری		197	بسیاری	هزار و	به خود اختصاص
99	راه	با اشاره	خود را برای		198	امور	کشور در	که در حال
100	داده	که می	کرده است که		199	نفت	باید به	شمار می رود