پرش به محتویات

نود تقسیم‌کننده توکن#

نود تقسیم‌کننده توکن یک رشته‌ی متن خام را با تبدیل متن به توکن‌های BPE ابتدا، سپس این توکن‌ها را به بخش‌هایی تقسیم می‌کند و توکن‌های داخل هر بخش را مجدداً به متن تبدیل می‌کند.

در این صفحه، پارامترهای نود برای نود تقسیم‌کننده توکن و لینک به منابع بیشتر را خواهید یافت.

مقدار پارامتر در زیرنودها

زیرنودها هنگام پردازش چند آیتم با استفاده از یک عبارت، رفتار متفاوتی نسبت به سایر نودها دارند.

اکثر نودها، از جمله نودهای ریشه، هر تعداد آیتم را به عنوان ورودی می‌پذیرند، این آیتم‌ها را پردازش کرده و نتایج را خروجی می‌دهند. شما می‌توانید از عبارات برای ارجاع به آیتم‌های ورودی استفاده کنید، و نود هر بار این عبارت را برای هر آیتم حل می‌کند. برای مثال، اگر ورودی شامل پنج مقدار name باشد، عبارت {{ $json.name }} به ترتیب به هر نام حل می‌شود.

در زیرنودها، این عبارت همیشه به اولین آیتم ارجاع می‌دهد. برای مثال، اگر ورودی شامل پنج مقدار name باشد، عبارت {{ $json.name }} همیشه به اولین نام ارجاع می‌دهد. 

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
## پارامترهای نود

* **اندازه بخش (Chunk Size)**: تعداد کاراکترهای هر بخش را وارد کنید.
* **همپوشانی بخش‌ها (Chunk Overlap)**: میزان همپوشانی بین بخش‌ها را وارد کنید.

## قالب‌ها و نمونه‌ها

<!-- ببینید https://www.notion.so/n8n/Pull-in-templates-for-the-integrations-pages-37c716837b804d30a33b47475f6e3780 -->
<span class="n8n-templates-widget-more"><a href="https://n98n.ir/integrations/token-splitter/" target="_blank">Browse Token Splitter integration templates</a>, or <a href="https://n98n.ir/workflows/" target="_blank">search all templates</a></span>

## منابع مرتبط

برای اطلاعات بیشتر درباره سرویس، به [مستندات توکن LangChain](https://js.langchain.com/docs/concepts/tokens/){:target=_blank .external-link} و [مستندات جداکننده متن LangChain](https://js.langchain.com/docs/concepts/text_splitters/){:target=_blank .external-link} مراجعه کنید.


مشاهده مستندسازی [هوش مصنوعی پیشرفته] n98n در این قسمت.

واژگان مورد استفاده در هوش مصنوعی#

  • کامل‌شدن: پاسخ‌هایی هستند که توسط مدلی مانند GPT تولید می‌شوند.
  • توهمات: توهم در هوش مصنوعی هنگامی است که یک مدل زبانی بزرگ (LLM) نادرست تصور می‌کند الگوها یا اشیائی وجود دارند که واقعاً وجود ندارند.
  • پایگاه داده وکتور: پایگاه داده وکتور نمایه‌های ریاضی اطلاعات را ذخیره می‌کند. از آن در کنار جاسازی‌ها و بازیاب‌ها برای ساختن یک پایگاه داده که هوش مصنوعی شما می‌تواند هنگام پاسخگویی به سوالات به آن مراجعه کند، استفاده می‌شود.
  • مخزن وکتور: مخزن وکتور، یا پایگاه داده وکتور، نمایه‌های ریاضی اطلاعات را ذخیره می‌کند. از آن در کنار جاسازی‌ها و بازیاب‌ها برای ساختن یک پایگاه داده که هوش مصنوعی شما می‌تواند هنگام پاسخگویی به سوالات به آن مراجعه کند، استفاده می‌شود.