دوره تخصصی آموزش پردازش زبان طبیعی با ابزار NLTK

با سیزدهمین یا به عبارتی آخرین قسمت از دوره تخصصی آموزش متن کاوی با ابزار NLTK در خدمت شما هستیم. در این قسمت به تعریف، معرفی و استفاده از قابلیت های پایگاه داده واژه ای WordNet به شکل تئوری و عملی می پردازیم. مهمترین مباحث آموزشی در این ویدیو: 1. آموزش تئوری WordNet و ویژگی های آن 2. بدست اوردن معنی و تعریف یک کلمه در WordNet به شکل عملی 3. بدست آوردن مثال های یک کلمه در WordNet به شکل عملی 4. بدست آوردن لیست کلمه های مترادف یک کلمه به شکل عملی 5. بدست اوردن لیست کلمات متضاد یک کلمه به شکل عملی 6. و ... لازم به ذکر است که در تمامی ویدیوها نمونه کد پایتون و فایل پاورپوینت مربوط به آن به همراه فیلم قابل دانلود می باشد.

با دوازدهمین قسمت از دوره تخصصی آموزش متن کاوی با ابزار NLTK در خدمت شما هستیم. یکی دیگر از مباحث جذاب و پرکاربرد در حوزه NLP مبحث نظرکاوی (تجزیه و تحلیل احساسات) می باشد. خوشبختانه کتابخانه NLTK دارای ماژولی با نام Sentiment Analysis است که امکان استخراج احساسات را از دل داده های متنی فراهم می آورد. در این ویدیو به شکل عملی و تئوری با این مبحث آشنا خواهیم شد. لازم به ذکر است که در تمامی ویدیوها نمونه کد پایتون و فایل پاورپوینت مربوط به آن به همراه فیلم قابل دانلود می باشد. تجزیه و تحلیل احساسات (گاهی اوقات به عنوان نظرکاوی یا عقیده کاوی یا هوش مصنوعی احساسات شناخته می‌شود) به استفاده از پردازش زبان طبیعی، تجزیه و تحلیل متن، زبان‌شناسی محاسباتی، و بیومتریک به شناسایی سیستماتیک، استخراج، سنجش کمیت، و مطالعه حالات مؤثر و اطلاعات ذهنی اشاره دارد. تجزیه و تحلیل احساسات به طور گسترده‌ای در موارد صدای مشتری مانند بررسی و پاسخ نظر سنجی، آنلاین و رسانه‌های اجتماعی و در موارد مراقبت بهداشت برای کاربردهایی از بازاریابی تا خدمات به مشتریان برای پزشکی اعمال می‌شود. به طور کلی، تجزیه و تحلیل احساسات به تعیین نگرش یک سخنران، نویسنده، یا موضوع دیگر با توجه به برخی از موضوع یا قطبیت متن کلی یا واکنش احساسی به یک سند، تعامل، یا رویداد کمک می‌کند. نگرش ممکن است یک قضاوت یا ارزیابی (نظریه ارزیابی را ببینید)، حالت مؤثر (احساس نویسنده یا سخنران)، یا ارتباط عاطفی باشد. (اثر عاطفی در نظر گرفته شده توسط نویسنده یا مخاطب). مباحث آموزشی در این ویدیو: 1. بررسی حس مثبت 2. شناسایی حس منفی

با یازدهمین قسمت از دوره تخصصی آموزش متن کاوی با ابزار NLTK در خدمت شما هستیم. در این قسمت به شمارش واژه ها در یک سند متنی یا به تعریف مفهوم Term Frequency می پردازیم. لازم به ذکر است که در تمامی ویدیوها نمونه کد کامل پایتون و فایل پاورپوینت مربوط به آن به همراه فیلم قابل دانلود می باشد.

با دهمین قسمت از دوره تخصصی آموزش متن کاوی با ابزار NLTK در خدمت شما هستیم. یکی از مباحث مهم در بازیابی اطلاعات و متن کاوی فرایند تبدیل کلمات به کلمه ریشه اشان می باشد. به این فرایند Stemming نیز می گویند و به توابعی که این کار را انجام می دهند نیز Stemming Algorithm می گویند. خوشبختانه کتابخانه NLTK دارای 3 تابع برای انجام این فرایند می باشد که به ترتیب در زیر ذکر شده اند.* 1. الگوریتم PorterStemmer 2. الگوریتم LancasterStemmer 3. الگوریتم SnowballStemmer* در این ویدیو نحوه استفاده از هر کدام این الگوریتم ها نیز ارائه گردیده است. لازم به ذکر است که در تمامی ویدیوها نمونه کد کامل پایتون و فایل پاورپوینت مربوط به آن به همراه فیلم قابل دانلود می باشد.

با نهمین قسمت از دوره تخصصی آموزش متن کاوی با ابزار NLTK در خدمت شما هستیم. در این قسمت به تعریف و مشخص کردن اجزای کلامی یک سند متنی (Tagging Words) به کمک کتابخانه NLTK می پردازیم. در زبان‌شناسی پیکره‌ای، برچسب‌گذاری اجزای کلام، در واقع عمل انتساب برچسب به کلمات تشکیل‌دهندهٔ یک متن یا یک پیکره است. این برچسب‌گذاری براساس نقش آن کلمه در متن، مانند اسم، فعل، قید، صفت، و غیره صورت می‌گیرد. بعضی کلمات ممکن است یک یا چند برچسب داشته‌باشند. اگر یک کلمه بیش از یک برچسب داشته‌باشد، نیاز به ابهام‌زدایی دارد.

با هشتمین قسمت از دوره تخصصی آموزش متن کاوی با ابزار NLTK در خدمت شما هستیم. در این قسمت به تعریف، شناسایی و استخراج Bigrams به کمک کتابخانه NLTK از یک سند متنی می پردازیم و نشان خواهیم داد که چگونه با استفاده از Bigrams می توان موضوع یک سند متنی رو تشخیص داد. همچنین نشان خواهیم داد که چگونه عمل پیش پردازش می تواند نتیجه مطلوبی در استخراج Bigrams و تشخیص موضوع داشته باشد. جالبه که بدونید موتورهای جست و جو برای Index و رتبه دهی کردن اسناد وب در توابع و معیارهای اندازه گیری خود از تکنولوژی Bigrams استفاده می کنند. لازم به ذکر است که در تمامی ویدیوها نمونه کد کامل پایتون و فایل پاورپوینت مربوط به آن به همراه فیلم قابل دانلود می باشد.

با هفتمین قسمت از دوره تخصصی آموزش متن کاوی با ابزار NLTK در خدمت شما هستیم. در این قسمت به تعریف، شناسایی و حذف Stopwords از اسناد متنی با کمک کتابخانه NLTK به شکل تئوری و عملی می پردازیم. حذف Stopwords یکی از مهمترین عملیات پیش پردازش در فرآیندهای متن کاوی می باشد. لازم به ذکر است که در تمامی ویدیوها نمونه کد پایتون و فایل پاورپوینت مربوط به آن به همراه فیلم قابل دانلود می باشد.

با ششمین قسمت از دوره تخصصی آموزش متن کاوی با ابزار NLTK در خدمت شما هستیم. یکی دیگر از فرآیندهای متن کاوی، عملیات Tokenization کردن یک سند انگلیسی (تیکه تیکه کردن) برحسب واژه ها و خط ها می باشد. که البته می توان روی اسناد غیر انگلیسی هم با کتبخانه nltk این فرآیند را انجام داد. در این ویدیو انواع عملیات Tokenization خدمت شما ارائه می گردد. توجه: فایل پاورپوینت و برنامه به عنوان ضمائم در کنار ویدیو قرار داده شده است.

با پنجمین قسمت از دوره تخصصی آموزش متن کاوی با ابزار NLTK در خدمت شما هستیم. یکی از ساده ترین فرآیندهای متن کاوی، شمارش واژه های یک سند متنی به کمک فرایند Tokenization هستش. در این ویدیو به شما آموزش خواهیم داد که به چه شکل به کمک تابع word_tokenize موجود در ابزار nltk و تابع set موجود در زبان برنامه نویسی پایتون می توانید تعداد واژه های سند متنی خود را بشمارید و این حالت شمارش چه تفاوتی با تابع split در زبان برنامه نویسی پایتون دارد. توجه: فایل پاورپوینت و برنامه به عنوان ضمائم در کنار ویدیو قرار داده شده است.

قبل از انجام هر گونه عملیات متن کاوی، نیاز به یک مجموعه اسناد متنی استاندارد داریم. خوشبختانه کتابخانه NLTK همراه خودش مجموعه ای از اسناد متنی رو داره که می تونیم از آونها برای انجام فرایندهای متن کاوی بهره ببریم. در این ویدیو آموزشی نحوه دسترسی به مجموعه اسناد متنی موجود در کتابخانه NLTK رو خدمت شما به شکل تئوری و عملی ارائه خواهیم کرد. مباحث آموزشی در این ویدیو: 1. کرپس (پیکره متنی) چیست 2. محل کرپس ها در NLTK کجاست 3. نحوه دسترسی به محتویات داخل کرپس 4. اجرای برنامه بدون داشتن IDE پای چرم توجه: فایل پاورپوینت و برنامه به عنوان ضمائم در کنار ویدیو قرار داده شده است.

از آنجا که در ویدیوهای پیش رو این دوره از توابع و پارامترهای قدرتمند کتابخانه NLTK برای پردازش متن (متن کاوی) استفاده خواهد شد. لذا در این قسمت به صورت تئوری و عملی ابزار NLTK و داده های مربوط به آن را (nltk_data) نصب می کنیم. مباحث آموزشی در این ویدیو: 1. چگونه ابزار NLTK را نصب کنیم 2. چکونه داده های NLTK را با روش CMD دانلود کنیم 3. چگونه داده های NLTK را به صورت دستی دانلود کنیم 4. داده های NLTK را چگونه به ابزار NLTK معرفی کنیم

سلام عزیزان: یکی از چالش های اساسی که امروزه حوزه ای تی و بخصوص شرکت های بزرگی مانند گوگل با آن روبه رو هستند، چالش نحوه آنالیز مجموعه بزرگی از متون موجود در وب می باشد. یکی از روش هایی که با استفاده از آن می توان داده های متنی را مورد کاووش و آنالیز قرار داد، متن کاوی (text mining) می باشد.متن کاوی (پردازش متن) به دنبال استخراج دانش نهفته شده در دل مجموعه داده های متنی نیز می باشد. ابزارهای زیادی برای انجام عملیات متن کاوی وجود دارد مانند RapidMiner، Python Text mining، Voyant و ... در این دوره ما شما را با نحوه انجام انواع عملیات متن کاوی با استفاده از ابزار NLTK آشنا خواهیم کرد. NLTK یک ابزار حرفه ای به منظور انجام عملیات متن کاوی است که به طور گسترده در زمینه پردازش زبان طبیعی (NLP) استفاده می گردد. این ابزار توسط دانشگاه پنسیلوانیا امریکا در سال 2001 ارائه گردیده است و حدود 17 سال است که در زمینه آموزش و پژوهش دانشگاه ها استفاده می شود. NLTK امروزه به طور گسترده در بیش از 30 دانشگاه معتبر امریکا درس داده می شود. یکی از مهمترین مزایای ابزار NLTK داشتن مجموعه داده های متنی بسیار گسترده و کاربردی می باشد که در انواع عملیات متن کاوی می توان از آن ها استفاده کرد. از مهمترین مباحث آموزشی در این دوره: 1. نصب ابزار و داده های آن 2. Tokenization 3. StopWords 4. Stemming 5. POS Tagging 6. Wordnet 7. Synonyms and Antonyms 8. Sentiment Analysis 9. Frequency Distribution 10. Bigrams 11. ...