هوش مصنوعی تولید گفتار پیشرفته مایکروسافت: VALL-E 2 چیست؟ شرکت مایکروسافت با ارائه هوش مصنوعی جدیدی به نام VALL-E 2، در حوزه تبدیل متن به گفتار (Text-to-Speech) دست به یک دستاورد بزرگ زده است. این فناوری قابلیت تولید گفتاری بسیار طبیعی و دقیق را با استفاده از تنها چند ثانیه صدای یک فرد دارد که به حدی واقع‌گرایانه است که حتی انسان‌ها هم قادر به تشخیص آن از گفتار واقعی فرد نباشند.
چرا VALL-E 2 منحصر به فرد است؟
در مقاله‌ای که در تاریخ ۱۷ ژوئن ۲۰۲۳ در سرور علمی arXiv منتشر شد، محققان مایکروسافت اعلام کردند که این مدل به اولین سیستم TTS با برابری انسانی دست یافته است. این به معنایی است که گفتار تولید شده توسط VALL-E 2 از لحاظ کیفیت و واقع‌گرایی، قابل مقایسه با گفتار واقعی افراد است.
علاوه بر شباهت به صدای اصلی گوینده، این مدل می‌تواند بدون نیاز به داده‌های اضافی و با استفاده از تنها چند ثانیه صدا، گفتاری بلند کند که احساس می‌شود همان فرد صحبت می‌کند. این قابلیت تحت عنوان Zero-Shot TTS شناخته می‌شود.
VALL-E 2 چگونه کار می‌کند؟
VALL-E 2 از دو فناوری کلیدی استفاده می‌کند:
۱. نمونه‌برداری آگاهانه از تکرار (Repetition Aware Sampling)
این ویژگی از تکرار بی‌نهایت یا حلقه‌های صوتی در طول گفتار جلوگیری می‌کند و باعث می‌شود گفتار به صورت روان و طبیعی‌تری تولید شود.
۲. مدلسازی کد گروهی (Group Code Modeling)
این روش با کاهش طول دنباله ورودی، سرعت پردازش را افزایش داده و عملکرد مدل را بهبود می‌بخشد. این امر به خصوص در تولید گفتارهای بلند و پیچیده بسیار موثر است.
تست‌ها و اعتبارسنجی
محققان مایکروسافت از دو مجموعه داده معروف LibriSpeech و VCTK برای تست و ارزیابی VALL-E 2 استفاده کرده‌اند. این تست‌ها نشان داده‌اند که VALL-E 2 در مقایسه با دیگر سیستم‌های TTS موجود:
1- گفتاری طبیعی‌تر
2- شباهت بیشتر به گوینده اصلی
3- استحکام بالاتر در تولید محتوا
این مدل برای اولین بار توانسته است در تمامی این معیارها به سطحی از کیفیت برسد که انسان‌ها نمی‌توانند آن را از گفتار واقعی تمایز دهند.
کاربردهای بالقوه VALL-E 2
این فناوری می‌تواند کاربردهای گسترده‌ای در حوزه‌های مختلف داشته باشد:
۱- سرگرمی و محتوای رسانه‌ای
۲- روزنامه‌نگاری و خبرگزاری‌ها
۳- دستیارهای صوتی و چت‌بات‌ها
۴- آموزش و یادگیری شخصی‌سازی شده
۵- ترجمه همزمان و سیستم‌های دسترسی
۶- ایجاد محتوای صوتی خودکار برای کتاب‌های صوتی و پادکست‌ها
خطرات و محدودیت‌ها
با وجود تمامی این توانایی‌ها، مایکروسافت تصمیم گرفته است که VALL-E 2 را عمومی نکند. دلیل این تصمیم، **خطرات احتمالی سوءاستفاده** از این فناوری است:
۱- جلوگیری از جعل هویت گوینده
۲- دراپ فیک صوتی (Voice Deepfake)
۳- تشویش افکار عمومی با استفاده از گفتار تقلبی
۴- استفاده غیراخلاقی در تبلیغات یا فعالیت‌های مجرمانه
این تصمیم مایکروسافت در حالی اتخاذ شده است که شرکت‌های بزرگ دیگر مانند OpenAI نیز محدودیت‌های مشابهی را برای فناوری‌های صوتی خود اعمال کرده‌اند.
همچنین محققان مایکروسافت اشاره کرده‌اند که استفاده از این مدل در آینده باید دارای پروتکل‌های امنیتی و اخلاقی باشد؛ از جمله:
1- اجازه نامه‌نویسی از سوی گوینده
2- استفاده از سیستم‌های تشخیص گفتار ترکیبی
3- ثبت محتوای تولید شده به صورت شناسایی‌پذیر
و در پایان…
VALL-E 2 یکی از پیشرفته‌ترین مدل‌های تولید گفتار مبتنی بر هوش مصنوعی است که توانسته به برابری انسانی در تولید گفتار دست یابد. این مدل با بهره‌گیری از تکنیک‌های پیشرفته مانند Repetition Aware Sampling و Group Code Modeling، توانایی تولید گفتاری بسیار طبیعی و قابل اعتماد را دارد.
اما به دلیل خطرات بالقوه آن، مایکروسافت اقدام به انتشار عمومی آن نکرده است. در عین حال، این فناوری می‌تواند در آینده در حوزه‌های مختلفی از آموزش تا سرگرمی و رسانه کاربرد گسترده‌ای داشته باشد — البته با رعایت مسائل اخلاقی و امنیتی.
