মিট টোকেন সেভার: ক্লাউড পিডিএফ টোকেন খরচ 90-99% কমাতে নেটিভ হাইব্রিড RAG ব্যবহার করে একটি ওপেন সোর্স MCP এক্সটেনশন

এআই ডেভেলপার, গবেষক এবং পেশাদাররা প্রায়ই LLM-এর সাথে বড় নথি বিশ্লেষণ করার সময় একটি হতাশাজনক দেয়ালে আঘাত করে: প্রসঙ্গ উইন্ডোগুলির লুকানো এবং জটিল খরচ। একটি চ্যাটে 200-পৃষ্ঠার পিডিএফ পেস্ট করা এককালীন চার্জ নয়। যেহেতু কথোপকথনের ইতিহাস প্রতিটি রাউন্ডে মডেলে পুনরায় পাঠানো হয়, এই বিশাল নথিটি প্রতিটি ফলো-আপ প্রশ্নের সাথে পরিশোধ করা হয়।

মার্কটেকপোস্ট এআই টিম সবেমাত্র মুক্তি পেয়েছে টোকেন রক্ষকক্লড ডেস্কটপের জন্য একটি ওপেন সোর্স মডেল কনটেক্সট প্রোটোকল (MCP) এক্সটেনশন (MIT লাইসেন্স, বর্তমানে সংস্করণ 1.0)। মার্কটেকপোস্ট এআই মিডিয়া ইনকর্পোরেটেডে অর্ণব রাই (রচেস্টার ইনস্টিটিউট অফ টেকনোলজির কম্পিউটার সায়েন্সের ছাত্র) মার্কটেকপোস্টে তার ইন্টার্নশিপের সময় জিন-মার্ক মোমসিন এবং আসিফ রাজাকের তত্ত্বাবধানে এটি তৈরি করেছিলেন। টোকেন রক্ষক মৌলিকভাবে স্থানীয় নথিগুলির সাথে ক্লাউডের যোগাযোগের উপায় পরিবর্তন করে। প্রয়োগ করে ক হাইব্রিড নেটিভ RAG (একটি সিস্টেম সরাসরি আপনার কম্পিউটারে, এটি আপনাকে মডেলে ফাইল আপলোড না করেই বিশাল পিডিএফ ফাইল সম্পর্কে প্রশ্ন জিজ্ঞাসা করতে দেয়।

টোকেন খরচ 92% থেকে 99% হ্রাস পেয়েছে, গোপনীয়তা নিশ্চিত করা হয়েছে এবং সেটআপের জন্য ঠিক শূন্য পাইথন পরিবেশ বা টার্মিনাল কনফিগারেশন প্রয়োজন।

দেখতে কেমন লাগে!

বড় পিডিএফ ফাইলের লুকানো টোকেন নিষ্কাশন

বেশিরভাগ ব্যবহারকারীরা ধরে নেয় যে যখন তারা ক্লাউডে একটি পিডিএফ রাখে, তখন এটি কেবল পাঠ্যটি বের করে। বাস্তবে, ক্লডের ডিফল্ট আচরণ প্রতিটি পৃষ্ঠাকে একটি চিত্রে রূপান্তর করে চার্ট এবং লেআউট সংরক্ষণ করার জন্য, পৃথকভাবে পাঠ্য বের করার সময়। একটি একক চিত্র টোকেন গণনা করার আগে, শুধুমাত্র পাঠ্য প্রতি পৃষ্ঠায় 1,500 থেকে 3,000 টোকেন চালাতে পারে।

যদিও প্রম্পট ক্যাশিং এবং ক্লড প্রজেক্টগুলি এই আঘাতকে নরম করতে সাহায্য করে, তারা কেন্দ্রীয় সমস্যার সমাধান করে না: সম্পূর্ণ নথিটি এখনও বিক্রেতার সার্ভারের সীমানা অতিক্রম করে। অধিকন্তু, যদি আপনার 1,000 পৃষ্ঠার পাঠ্যপুস্তক থেকে শুধুমাত্র দুটি প্রাসঙ্গিক অনুচ্ছেদের প্রয়োজন হয়, তাহলে LLM-কে সম্পূর্ণ 1,000 পৃষ্ঠাগুলি অনুসন্ধান করতে বাধ্য করা উভয়ই অদক্ষ এবং বিভ্রান্তির ঝুঁকিপূর্ণ।

কিভাবে RAG স্থানীয় হাইব্রিড সমস্যার সমাধান করে

Marktechpost এর টোকেন রক্ষক একটি স্থানীয় MCP সার্ভার হিসাবে চলে: আপনার কম্পিউটারে একটি হালকা ব্যাকগ্রাউন্ড প্রোগ্রাম যা Claude একটি টুল হিসাবে কল করতে পারে। পিডিএফ আপনার হার্ড ড্রাইভ থেকে প্রস্থান করে না।

আপনি যখন একটি প্রশ্ন জিজ্ঞাসা করেন, টোকেন সেভার ব্যবহার করে হাইব্রিড নেটিভ RAG উত্তর খুঁজতে। হাইব্রিড RAG হল নথি পুনরুদ্ধারের জন্য সোনার মান কারণ এটি দুটি শক্তিশালী অনুসন্ধান পদ্ধতিকে একত্রিত করে:

1. কীওয়ার্ড ম্যাচিং (BM25): সঠিক পরিভাষা খুঁজতে SQLite-এর অন্তর্নির্মিত FTS5 অনুসন্ধানে (0.4 ওজন সহ) চলে।
2. শব্দার্থিক অনুসন্ধান (কোসাইন সাদৃশ্য): স্থানীয় ব্যবহারকারী all-MiniLM-L6-v2 একটি আত্তীকরণ মডেল (0.6 এর ওজন সহ) বোঝার জন্য অর্থ আপনার প্রশ্নের, শুধু সঠিক শব্দের সাথে মিল না করে।

স্থানীয়ভাবে এই দুটি পন্থা একত্রিত করে, সার্ভার ফাইলটি অনুসন্ধান করে এবং শুধুমাত্র সবচেয়ে প্রাসঙ্গিক বিভাগগুলিকে ক্লাউডে পাস করে। ক্লাউড তারপর উত্তরটি সংশ্লেষিত করে, সঠিক পৃষ্ঠা নম্বরগুলি উদ্ধৃত করে এবং আপনি এইমাত্র সংরক্ষিত টোকেনগুলির একটি সংলগ্ন সংগ্রহ প্রদান করেন।

8-পর্যায় প্রক্রিয়াকরণ পাইপলাইন

টোকেন সেভার সম্পূর্ণভাবে একটি একক, দীর্ঘস্থায়ী স্থানীয় প্রক্রিয়ার মধ্যে চলে। কোনো পাঠ্য ক্লাউডে পৌঁছানোর আগে, স্থানীয় হাইব্রিড RAG পাইপলাইন আটটি দ্রুত পদক্ষেপ সম্পাদন করে:

1. ব্যয়: পাঠ্য টানতে pypdfium2 (ফলব্যাক হিসাবে pypdf সহ) ব্যবহার করে।
2. খণ্ড: পাঠ্যকে 180-শব্দের অংশে বিভক্ত করে, 40টি শব্দকে ওভারল্যাপ করে যাতে প্রসঙ্গটি কখনই অন্ধভাবে কাটা যায় না।
3. স্কোর (RAG হাইব্রিড): সমন্বিত BM25 মডেল এবং স্থানীয় আত্তীকরণ ব্যবহার করে খণ্ডগুলি অনুমান করে।
4. গেট: একটি মানের মান প্রয়োগ করে। যে অংশগুলি সঠিক কীওয়ার্ডগুলি ভাগ করে না সেগুলিকে যোগ্য হতে 0.25 এর একটি শব্দার্থিক সাদৃশ্য স্তর অতিক্রম করতে হবে৷
5. অনুলিপি: ড্রপ প্রায় অভিন্ন পাস.
6. চাষ করা: বিভাগটিকে শুধুমাত্র এমন বাক্যে কমিয়ে দেয় যা ব্যবহারকারীর অনুরোধ পূরণ করে।
7. বাজেট: Claude কে পাঠানো মোট পেলোড 8,000 অক্ষরে সীমাবদ্ধ করে।
8. খাম: উৎস ফাইল এবং একটি সঠিক পৃষ্ঠা নম্বর ধারণকারী একটি নথি-খণ্ড উপাদানে পুনরুদ্ধার করা পাঠ্যকে মোড়ানো হয়।

(দ্রষ্টব্য: এমবেডিং মডেলটি ঐচ্ছিক কিন্তু সুপারিশ করা হয়। যদি এটি লোড করতে ব্যর্থ হয়, তাহলে সিস্টেমটি শুধুমাত্র কীওয়ার্ড মিলের দিকে প্রত্যাবর্তন করে)।

সংখ্যা: স্কেলের 99% সঞ্চয়

যেহেতু হাইব্রিড RAG পাইপলাইন প্রত্যাবর্তিত টেক্সট স্লাইসকে কভার করে, তাই টোকেন সঞ্চয় নথির আকারের সাথে দ্রুতগতিতে বৃদ্ধি পায়। নীচে বেঞ্চমার্কিং-এ টোকেন সেভারের কার্যকারিতা রয়েছে (টিকটোকেন ব্যবহার করে পরিমাপ করা হয়েছে, প্রতি নথিতে একটি প্রশ্ন ধরে নেওয়া হয়েছে):

নথি	পৃষ্ঠাগুলি	ডক টোকেন সম্পূর্ণ করুন	টোকেন ফিরে এসেছে	টোকেন সংরক্ষিত
এফডিএ ড্রাগ লেবেল	33	23,959	1,021	95.7%
GDPR (EU 2016/679)	৮৮	70,260	996	98.6%
SFFA বনাম হার্ভার্ড	233	133,349	740	99.4%

দাবিত্যাগ: টোকেন গণনা স্ট্যান্ড-ইন হিসাবে cl100k_base ব্যবহার করে, এবং বেসলাইনগুলি ধরে নেয় প্রতিটি অনুসন্ধানে সম্পূর্ণ নথি প্রতিশ্রুতিবদ্ধ।

পেশাদারদের জন্য যারা বারবার আদালতের মতামত, প্রযুক্তিগত মান, আর্থিক প্রতিবেদন বা ঘন পাঠ্যপুস্তক নিয়ে কাজ করে, টোকেন সেভার পুনরাবৃত্ত টোকেন ট্যাক্স বাদ দেয়।

স্থানীয় নিরাপত্তা এবং গোপনীয়তা

কর্পোরেট ব্যবহারকারী এবং আইনি পেশাদারদের জন্য, ডেটা গোপনীয়তা অ-আলোচনাযোগ্য। টোকেন সেভারের নিরাপত্তা মডেল তিনটি স্তম্ভের উপর নির্ভর করে:

• শূন্য আপলোড: দস্তাবেজটি কখনই আপনার ডিভাইসটি ছেড়ে যায় না।
• ফোল্ডার অনুমতি নিবন্ধন: আপনি টোকেন রক্ষকের জন্য একটি নির্দিষ্ট ফোল্ডার সংজ্ঞায়িত করুন। সার্ভার সক্রিয়ভাবে এই মনোনীত ডিরেক্টরির বাইরে ফাইল পড়তে অস্বীকার করবে।
• গ্রিড বিচ্ছিন্নতা: সার্ভারটি শুধুমাত্র স্ট্যান্ডার্ড I/O (stdio) এর মাধ্যমে Claude Desktop এর সাথে যোগাযোগ করে। কোন লিসেনিং নেটওয়ার্ক পোর্ট নেই, যা আক্রমণের পৃষ্ঠকে মারাত্মকভাবে হ্রাস করে।

মডেল পারফরম্যান্স: সনেট বনাম ওপাস

Marktechpost এর টোকেন সেভার ক্লাউড 3.5 এর তিনটি স্তরেই কাজ করে, তবে পরীক্ষাগুলি বিভিন্ন আচরণ প্রকাশ করেছে:

• ক্লদ 3.5 সোনাটা (প্রস্তাবিত): লজিক্যাল ডিফল্ট। এটি নিখুঁতভাবে আলগা ফাইলের উল্লেখগুলি পরিচালনা করে, দুটি ফাইলের একই নাম থাকলে স্পষ্টীকরণ প্রশ্ন জিজ্ঞাসা করে এবং পুনরুদ্ধার করা পৃষ্ঠা নম্বরগুলি সঠিকভাবে প্রয়োগ করে।
• ক্লদ ওপাস 3: একাধিক কণ্ঠস্বর সহ জটিল নথিতে এক্সেলস (যেমন, সংখ্যাগরিষ্ঠ মতামত এবং ভিন্নমত সহ আইনি রায়)। Opus ফ্ল্যাগ করার জন্য যথেষ্ট স্মার্ট যখন এটি স্পষ্ট পাঠ্যের পরিবর্তে প্রসঙ্গের উপর ভিত্তি করে অ্যাট্রিবিউশন অনুমান করে।

মিনিটের মধ্যে শুরু হচ্ছে

জটিল পাইথন পরিবেশ এবং JSON কনফিগারেশনের প্রয়োজন হয় এমন অনেক ওপেন সোর্স AI টুলের বিপরীতে, টোকেন সেভারকে একক ইউনিট হিসাবে প্যাকেজ করা হয় .mcpb বান্ডিল

1. প্রকল্পের গিটহাব রিলিজ পৃষ্ঠা থেকে টোকেন-সেভার-ccr.mcpb ডাউনলোড করুন।
2. খোলা ক্লডের ডেস্কটপ -> সংজ্ঞা -> এক্সটেনশন -> একটি প্লাগইন ইনস্টল করুন.
3. প্লাগইন সক্রিয় করুন, ক্লিক করুন সংজ্ঞায়িত করুনএবং একটি ডেডিকেটেড ফোল্ডার নির্বাচন করুন যেখানে আপনি আপনার পিডিএফ ফাইলগুলি সংরক্ষণ করবেন।
4. প্রথম প্রম্পটে, নির্বাচন করুন সবসময় সম্ভব.

আপনি একটি ফোল্ডার নির্বাচন না করা পর্যন্ত প্লাগইনটি চলবে না, কারণ সেই একক নির্বাচন একবারে তিনটি উদ্দেশ্যে কাজ করে।

এই ফোল্ডার একটি মুহূর্ত চিন্তা মূল্য. এটি কি পড়া যায় তার সীমা নির্ধারণ করে, এটি আপনাকে একটি পাথ টাইপ করার পরিবর্তে নামের দ্বারা একটি ফাইলের অনুরোধ করার অনুমতি দেয় এবং এটি একটি তালিকা যা সার্ভার টাইপ করার জন্য দেখায় যখন একটি কথোপকথন শুরু হয়৷ একটি ছোট ফোল্ডার যেটিতে আপনি যা জিজ্ঞাসা করতে চান তা ধারণ করে এটি সমস্ত নথিতে নির্দেশ করার চেয়ে যথেষ্ট ভাল কাজ করে৷

একটি মূল গ্রহণ

• ব্যাপক খরচ হ্রাস: স্থানীয় হাইব্রিড RAG ব্যবহার করে শুধুমাত্র প্রাসঙ্গিক অনুচ্ছেদগুলি এলএলএম-এ স্থানান্তর করার জন্য, টোকেন খরচ 99% পর্যন্ত কমে যায়। চ্যাট যত দীর্ঘ হবে, তত বেশি আপনি সংরক্ষণ করবেন।
• যাচাইযোগ্য নির্ভুলতা: যেহেতু টোকেন সেভার পুনরুদ্ধার করা প্রতিটি খণ্ডে সঠিক পৃষ্ঠা নম্বর যুক্ত করে, আপনি আপনার স্থানীয় PDF খুলে তাৎক্ষণিকভাবে Claude-এর দাবি যাচাই করতে পারেন।
• সম্পূর্ণ গোপনীয়তা: সীমা আপনার স্থানীয় মেশিন. আপনার মালিকানাধীন ডেটা কখনই একটি AI প্রদানকারীর সার্ভারে আপলোড করা হয় না।
• ঘর্ষণহীন সংজ্ঞা: পাইথনের প্রয়োজন নেই। একটি সাধারণ .mcpb ফাইল ইনস্টলেশন আপনাকে অবিলম্বে Claude ডেস্কটপ চালাতে দেবে।

---

GitHub রেপো দেখুন।

তথ্যসূত্র: MCP বান্ডেল ফরম্যাট | all-MiniLM-L6-v2 | pdfkb-mcp | wesleygriffin/pdfrag | কর্পোরেশন: ডবস বনাম জ্যাকসনের মহিলা স্বাস্থ্য সংস্থা; বার্কশায়ার হ্যাথাওয়ে বার্ষিক প্রতিবেদন 2023