সাইন আপ • আগের সমস্যা
বিশেষায়িত AI তৈরি করা সহজ হচ্ছে
গত সপ্তাহে আমি যুক্তি দিয়েছিলাম যে উন্মুক্ত মডেলগুলি বেশিরভাগ অর্থ ভিজিয়ে দেবে এবং মনে করবে বিশ্ব AI-তে ব্যয় করে। এক সপ্তাহ পরে, খোলা ওজন কথোপকথনের জন্য আরও বেশি কেন্দ্রীয়। সর্বশেষ রিলিজ উপেক্ষা করার জন্য সক্ষম এবং আরও সাশ্রয়ী মূল্যের মধ্যে ব্যবধান তৈরি করুন এবং প্রযুক্তি সংস্থাগুলির একটি বিস্তৃত জোট এখন রয়েছে প্রকাশ্যে যুক্তি দেয় যে খোলা মডেলগুলি গুরুত্বপূর্ণ প্রতিযোগিতা, নিরাপত্তা এবং জাতীয় সার্বভৌমত্বের জন্য। কিন্তু মডেল নিজেই শুধুমাত্র শুরু বিন্দু. দলগুলি এখন তাদের সাথে কী করতে পারে তা হল আরও পরিণতিমূলক পরিবর্তন। তারা আরও বেশি সাধারণ ওজনকে মালিকানা বুদ্ধিতে পরিণত করতে পারে।
প্রতিটি সংখ্যা পড়ুন? একজন অর্থপ্রদানকারী সমর্থক হওয়ার কথা বিবেচনা করুন 🙏
প্রশিক্ষণের পরে কার্তুজ পূরণ হয়
দুই বছর আগে, একটি উন্মুক্ত মডেল নেওয়া এবং আপনার নির্দিষ্ট কাজের ক্ষেত্রে এটিকে উল্লেখযোগ্যভাবে আরও ভাল করা ইতিমধ্যেই সহজ ছিল। তত্ত্বাবধানকৃত ফাইন-টিউনিং, অর্থাৎ ভাল আউটপুটের জন্য লেবেলযুক্ত নমুনাগুলির প্রশিক্ষণ, সর্বদা অ্যাক্সেসযোগ্য বিকল্প। নতুন স্তরটি হল রিইনফোর্সমেন্ট ফাইন-টিউনিং, যেখানে একটি মডেল একটি টাস্ক অনুশীলন করে এবং শিখে যে এটি সফল হয়েছে কিনা। 25টিরও বেশি স্টার্টআপ এই ধারণাটি এখন চারপাশে তৈরি করা হচ্ছে, কিন্তু অ্যালগরিদম খুব কমই সম্পূর্ণ পণ্য। তারা এর চারপাশে কম চটকদার যন্ত্রপাতি একত্রিত করে: এমন পরিবেশ যেখানে মডেলদের প্রশিক্ষিত করা যেতে পারে, রেটার এবং যাচাইকারী যারা সিদ্ধান্ত নেয় যে কাজটি সঠিকভাবে করা হয়েছে কিনা, ডেটা তৈরি এবং সংরক্ষণের জন্য সরঞ্জাম এবং মূল্যায়ন, স্থাপনা এবং পর্যবেক্ষণের জন্য সিস্টেম।
প্লাটফর্মগুলোও শুরু হচ্ছে ইঞ্জিনিয়ারিং লুপ আরও স্বয়ংক্রিয় করুন. একটি দল একটি টাস্ক বর্ণনা করতে পারে, একটি বেসলাইন স্থাপন করতে পারে, ব্যর্থতার ধরণগুলি সনাক্ত করতে পারে, অনুমান তৈরি করতে এবং ডেটা পরীক্ষা করতে পারে, সেই ব্যর্থতার বিরুদ্ধে একটি মডেলকে প্রশিক্ষণ দিতে পারে এবং পুনরাবৃত্তি করতে পারে। এটি এখনও বিচারের প্রয়োজন, এবং শক্তিবৃদ্ধি শেখার হঠাৎ একটি পুশ-বোতাম অনুশীলন নয়। কিন্তু একসময় যা ছিল গবেষণা কৌশলগুলির একটি আলগা সংগ্রহ একটি পরিচিত প্রকৌশল কর্মপ্রবাহ হয়ে উঠছে যা আরও কোম্পানি গ্রহণ করতে পারে।
এখন কেন এমন হচ্ছে তা দাবি পক্ষ ব্যাখ্যা করে। যে দলগুলি জেনেরিক মডেলগুলিকে উত্পাদনে রাখে তারা সেই তিনটি দেয়ালে আঘাত করে। তাত্ক্ষণিক সমন্বয় একটি তিল হয়ে যায় প্রতিটি সংশোধনের সাথে অন্য ব্যর্থতা তৈরি করে। একবার ব্যবহার বাস্তব মাত্রায় পৌঁছে গেলে খরচ উপেক্ষা করা কঠিন। তারপর একজন সরবরাহকারী একটি মডেল পরিবর্তন করে, এটিকে অবসর দেয়, দাম বাড়ায় বা তার গ্রাহকের মতো একই বাজারে প্রতিযোগিতা শুরু করে। এই মুহুর্তে, একটি সাধারণ-উদ্দেশ্যের মডেল ভাড়া করা সুস্পষ্ট দীর্ঘমেয়াদী আর্কিটেকচারের মতো দেখা বন্ধ করে দেয়।
বিশেষীকরণটি আকর্ষণীয় কারণ বেশিরভাগ কর্পোরেট এআই কাজ সীমান্ত ল্যাবগুলির উচ্চাকাঙ্ক্ষার চেয়ে সংকীর্ণ। এটি শ্রেণীবিভাগ, নিষ্কাশন, ভবিষ্যদ্বাণী, টুল নির্বাচন এবং পুনরাবৃত্তিযোগ্য কর্মপ্রবাহের সঞ্চালন। উদাহরণে আমার কাছে বর্ণনা করা হয়েছেবিশেষায়িত মডেলগুলি ভাল-সংজ্ঞায়িত কাজগুলিতে 10 থেকে 30 শতাংশ পয়েন্ট দ্বারা কর্মক্ষমতা উন্নত করেছে। একটি ক্ষেত্রে, মাত্র কয়েকশো মিলিয়ন প্যারামিটার সহ একটি শ্রেণীবদ্ধকারী একটি ডিভাইসে চলে এবং মোটামুটি দশগুণ বড় একটি মডেলকে ফিট করে৷
মডেলগুলি কাস্টমাইজ করা থেকে সেগুলি তৈরি করা পর্যন্ত
একটি ছোট গোষ্ঠী আরও এগিয়ে যায় এবং স্ক্র্যাচ থেকে মডেলকে প্রি-ট্রেন করে। ডাটাডগ আমার প্রিয় উদাহরণ কারণ যুক্তি এত পরিষ্কার। তারা সময়-স্ট্যাম্প করা অপারেশনাল ডেটার একটি অযৌক্তিক পরিমাণে বসে আছে, তাই তারা একটি সময় সিরিজের জন্য একটি বেস মডেল প্রশিক্ষণ যে উপর দুটি বিবরণ আমার কাছে আটকে গেছে। মডেলটি আরও ভাল পারফর্ম করে যখন তারা পাবলিক টাইম সিরিজ ডেটাসেটগুলি বাদ দেয় এবং শুধুমাত্র তাদের ডেটার উপর প্রশিক্ষণ দেয়, যা একটি সরাসরি বিবৃতি যেখানে মানটি আপনি যেমন খুঁজে পাবেন। এটি প্রতিস্থাপিত ক্লাসিক পরিসংখ্যানগত পাইপলাইনের তুলনায় চালানোও সস্তা, একবার আপনি ক্যোয়ারী প্রতি এই পুরানো পদ্ধতিগুলির টিউনিং গণনা করলে। তাদের মালিকানাধীন ডেটা পণ্যের একটি ইনপুট হতে বন্ধ হয়ে যায় এবং নিজেই মডেলের অংশ হয়ে ওঠে। এখন তারা আরও উচ্চাভিলাষী কিছুর জন্য লক্ষ্য করছে, মেট্রিক্স, লগ, ট্রেস, টপোলজি, কোড এবং ইভেন্টগুলি থেকে তৈরি তাদের গ্রাহকদের বিতরণ করা সিস্টেমের একটি মডেল, একটি সিস্টেম এটি ইতিমধ্যে কী করেছে তা রিপোর্ট করার পরিবর্তে পরবর্তীতে কী করবে তা পূর্বাভাস দেওয়ার জন্য ডিজাইন করা হয়েছে।
আসন্ন রে সামিটের লাইনআপের পরামর্শ অনুযায়ী, অন্যান্য অনেক কোম্পানি একই পথ অনুসরণ করছে। একটি পেমেন্ট কোম্পানী লেনদেনের ডেটার উপর আগাম প্রশিক্ষণ দেয়। একটি ডিজাইন প্ল্যাটফর্ম 18টি ডেটাসেট জুড়ে 900 টেরাবাইট একত্রিত করে একটি মডেলকে প্রশিক্ষণ দিতে যা পাঠ্য, চিত্র এবং আংশিক CAD ইনপুট থেকে জ্যামিতি তৈরি করে। একটি স্ট্রিমিং পরিষেবা একই ভাগ করা ক্লাস্টারে প্রশিক্ষণ, ফাইন-টিউনিং, মূল্যায়ন এবং বিতরণ চালায়। এগুলির কোনটিই একটি গবেষণা প্রকল্প নয় এবং দুটি পরিবর্তন কেন ব্যাখ্যা করে। ডোমেন মডেল ছোট থাকে। উপরের 3D মডেলটি 513 মিলিয়ন থেকে 1.5 বিলিয়ন প্যারামিটারের মধ্যে চলে এবং Datadog এর সবচেয়ে বড় হল 2.5 বিলিয়ন, যা একটি ভাড়া করা ক্লাস্টার এবং শক্তিশালী কর্মী, একটি জাতীয় গবেষণা বাজেট নয়। এবং নীচের প্ল্যাটফর্মটি একত্রিত হয়েছে যাকে আমি PARK স্ট্যাক বলেছি, যার অর্থ PyTorch, Ray এবং Kubernetes ডেটা প্রস্তুতি, প্রশিক্ষণ, পোস্ট-ট্রেনিং, মূল্যায়ন এবং এক জায়গায় পরিবেশন করে।
প্রাক-প্রশিক্ষণকে সহজ করে তোলে না বা গড় কোম্পানির জন্য অর্থপূর্ণ করে না। এটি যুক্তিসঙ্গত হয়ে ওঠে যখন আপনার কাছে অনন্য ডেটা, একটি পুনরাবৃত্তিযোগ্য কাজের চাপ এবং সময়ের সাথে মডেলটি চালু রাখার জন্য দল থাকে। কঠিন অংশ প্রশিক্ষণ চালানো হয় না. এটি জানার জন্য কোন ডেটা এটিকে খাওয়াতে হবে এবং কোন মিশ্রণে, যা এখনও একটি প্রক্রিয়ার চেয়ে একটি নৈপুণ্যের কাছাকাছি। এর দ্বারা সরঞ্জামগুলি ক্ষতিগ্রস্ত হবেএবং প্রক্রিয়ায় প্রশ্নটি “আমাদের মতো একটি কোম্পানি কি একটি মডেলকে প্রশিক্ষণ দিতে পারে?” প্রতি “আমাদের ব্যবসার কোন অংশ মূল্যবান?”
গ্রিল মডেলের মধ্যে চলে যায়
দুটি উন্নয়ন একসাথে রাখুন এবং আপনি মালিকানা বিশেষীকরণের দিকে রূপান্তর পাবেন। পোস্ট ওয়ার্কআউট হল র্যাম্প এবং প্রি ওয়ার্কআউট হল দূরের শেষ। বেশিরভাগ সংস্থাগুলি এর মধ্যে কোথাও কাজ করবে, কিন্তু “আমাদের কাছে একটি ব্যবহারের কেস এবং কিছু ডেটা আছে” থেকে “ফিট করে এমন একটি মডেলের মালিক” এর দূরত্ব ক্রমশ কমছে।
ওপেনএআই এবং অ্যানথ্রপিকের জন্য এটি গভীর চ্যালেঞ্জ। এটা সহজ নয় যে অন্য একটি উন্মুক্ত মডেল তাদের লিডার বোর্ডে মেলে। এটি হল যে তাদের সেরা গ্রাহকরা ক্রমবর্ধমানভাবে মালিকানাধীন ডেটা, কর্মপ্রবাহ, সরঞ্জাম এবং উত্পাদন প্রতিক্রিয়াকে তাদের প্রতিষ্ঠানের মধ্যে তৈরি করা বুদ্ধিমত্তায় পরিণত করতে পারে। একবার পর্যাপ্ত কোম্পানিগুলি এই ফ্লাইহুইলটি তৈরি করলে, বড় ল্যাবগুলি একে অপরের সাথে প্রতিযোগিতা করা বন্ধ করে দেয়। তারা তাদের গ্রাহকদের ডেটার বিরুদ্ধে প্রতিযোগিতা শুরু করছে। এটা হেডওয়াইন্ড, আমি মনে করি না তারা তাদের আইপিও গল্পে দাম দেবে।
কাছে থেকে দেখতে চাইলে, রে পিক এতে মৌলিক মডেল প্রশিক্ষণ, মাল্টিমোডাল ডেটা সংগ্রহ এবং শক্তিবৃদ্ধি শেখার সম্পূর্ণ ট্র্যাক রয়েছে।
ডেটা সেন্টার হারানোর সময় AI জিততে পারে
খোলা ওজনে বাজি ধরার আগে চার গোল
