محققان بركلی: فناوری DeepSeek را با فقط ۳۰ دلار بازسازی كردیم!
تیمی تحقیقاتی ادعا می‌كند كه فناوری‌های دیپ‌سیك R1-Zero را با تنها ۳۰ دلار بازتولید كرده است.
محققان بركلی: فناوری DeepSeek را با فقط ۳۰ دلار بازسازی كردیم!هوش مصنوعیفناوریچهارشنبه ۱۰ بهمن ۱۴۰۳ - ۲۱:۰۹مطالعه 3 دقیقهپیام هدایتیتبلیغاتمشاهده همه ویدئو‌هاتبلیغاتتبلیغاتتیمی تحقیقاتی ادعا می‌كند كه فناوری‌های دیپ‌سیك R1-Zero را با تنها ۳۰ دلار بازتولید كرده است .
تبلیغاتتیمی تحقیقاتی از دانشگاه كالیفرنیا بركلی به رهبری جیایی پان، دانشجوی دكتری، ادعا می‌كند كه توانسته است فناوری‌های اصلی دیپ‌سیك R1-Zero را با تنها ۳۰ دلار بازتولید كند و نشان دهد كه مدل‌های پیشرفته‌ی هوش مصنوعی را می‌توان با هزینه‌ای بسیار كم پیاده‌سازی كرد .
به گفته‌ی پان در پلتفرم Nitter، این تیم مدل دیپ‌سیك R1-Zero را در بازی Countdown بازتولید كرده‌اند. این مدل زبانی كوچك كه ۳ میلیارد پارامتر دارد، با استفاده از یادگیری تقویتی، قابلیت‌هایی مانند خودبازبینی و جست‌وجو را توسعه داده است .
پان توضیح داد كه تیمش كار را با مدل زبانی پایه و پرامپت اولیه (نقطه شروع برای مدل زبانی) و پاداش مبتنی‌بر داده‌های صحیح آغاز كرد. سپس، فرایند یادگیری تقویتی را بر‌اساس بازی Countdown اجرا كردند. بازی Countdown از برنامه‌ی تلویزیونی بریتانیایی الهام گرفته شده كه در آن بازیكنان باید با استفاده از عملیات ریاضی ساده، عددی تصادفی را با تركیب مجموعه‌ای از اعداد داده‌شده پیدا كنند .
در ابتدای پروژه‌ی تیم تحقیقاتی دانشگاه كالیفرنیا، مدل تنها خروجی‌های تصادفی تولید می‌كرد؛ اما به‌تدریج استراتژی‌های اصلاح و جست‌وجو را توسعه داد تا پاسخ صحیح را بیابد. در نمونه‌ای، مدل ابتدا جوابی را ارائه داد و سپس آن را بررسی و چندین بار اصلاح كرد تا به پاسخ درست رسید .
علاوه‌بر بازی Countdown، تیم دانشگاه كالیفرنیا آزمایش ضرب اعداد را نیز روی مدل اجرا كرد. مدل از ویژگی توزیعی ضرب برای تجزیه و حل گام‌به‌گام مسائل استفاده كرد؛ مشابه روشی كه برخی از افراد هنگام محاسبه ذهنی اعداد بزرگ به كار می‌برند .
محققان دنشگاه كالیفرنیا آزمایش خود را با مدل‌هایی در مقیاس‌های مختلف انجام دادند. در ابتدا، مدلی با ۵۰۰ میلیون پارامتر را آزمایش كردند كه تنها پاسخ تصادفی ارائه می‌داد و بدون بررسی بیشتر متوقف می‌شد. بااین‌حال، با افزایش تعداد پارامترها به ۱٫۵ میلیارد، مدل روش‌های پیچیده‌تری برای افزایش دقت پاسخ خود یاد گرفت .
در مقیاس‌های ۳ تا ۷ میلیارد پارامتر، مدل می‌توانست با مراحل كمتر پاسخ صحیح را پیدا كند.نكته‌ی شگفت‌انگیز این است كه تیم بركلی ادعا می‌كند كه تنها با ۳۰ دلار این پروژه را اجرا كرده است. در مقام مقایسه، API مدل‌های OpenAI برای هر میلیون توكن ورودی ۱۵ دلار هزینه دارد؛ در‌حالی‌كه هزینه‌ی دیپ‌سیك R1 فقط ۰٫۵۵ دلار به‌ازای هر میلیون توكن ورودی است؛ یعنی ۲۷ برابر ارزان‌تر .
پان می‌گوید كه این پروژه در راستای دسترس‌پذیر‌كردن تحقیق روی مقیاس‌پذیری یادگیری تقویتی انجام شده است.مقاله‌های مرتبطهوش مصنوعی دیپ سیك چیست؟ آموزش استفاده از DeepSeekادامه طوفان دیپ‌سیك؛ شركت‌های هوش مصنوعی همچنان شوكه‌اندهوش مصنوعی چینی دیپ‌سیك پس از بورس آمریكا، بورس استرالیا را هم قرمز كردبا‌این‌حال، نیتن لمبرت، متخصص یادگیری ماشینی، درباره‌ی هزینه واقعی دیپ‌سیك تردید دارد .
او اشاره كرده است كه هزینه اعلام‌شده ۵ میلیون دلاری برای آموزش مدل ۶۷۱ میلیارد پارامتری تمام واقعیت را نشان نمی‌دهد.لمبرت درباره‌ی هزینه‌ی توسعه‌ی دیپ‌سیك می‌افزاید كه هزینه‌هایی مانند حقوق محققان و زیرساخت‌ها و برق در محاسبات لحاظ نشده‌اند و او تخمین می‌زند كه هزینه‌ی سالانه اجرای دیپ‌سیك AI بین ۵۰۰ میلیون تا بیش از ۱ میلیارد دلار باشد .
منبع : https://www.zoomit.ir/ai-articles/433837-ai-research-team-claims-reproduce-deepseek-core-for-usd30/