टॉक्सिसिटी क्लासिफायर

अक्सर पूछे जाने वाले सवाल

• "टॉक्सिक" की गिनती में क्या आता है?

  मॉडल Jigsaw/Conversation AI डेटासेट (Wikipedia कमेंट्स पर मॉडरेशन मॉडल प्रशिक्षित करने के लिए उपयोग) द्वारा परिभाषित छह श्रेणियों के लिए स्कोर लौटाता है — टॉक्सिक, बहुत टॉक्सिक, अश्लील, धमकी, अपमान और पहचान-आधारित नफ़रत। ऊँचा स्कोर मतलब मॉडल को अधिक विश्वास है कि श्रेणी लागू होती है।

• कौन सा मॉडल उपयोग होता है?

  एक distilled BERT क्लासिफायर (Xenova/toxic-bert) quantized ONNX फ़ाइल (~60 MB) के रूप में। यह @huggingface/transformers के माध्यम से WebAssembly पर चलता है, और पहले उपयोग के बाद वज़न आपके ब्राउज़र में कैश हो जाते हैं।

• क्या मेरा टेक्स्ट कहीं अपलोड होता है?

  नहीं। सारा वर्गीकरण आपके ब्राउज़र में होता है। कुछ भी सर्वर पर नहीं भेजा जाता।

• यह कितना सटीक है?

  मॉडल अंग्रेज़ी सोशल-मीडिया और कमेंट डेटा पर प्रशिक्षित है, इसलिए समान सामग्री पर सबसे अच्छा प्रदर्शन करता है। यह व्यंग्य, छिपे हुए संकेत (dog whistles) और गैर-अंग्रेज़ी टॉक्सिसिटी चूक सकता है। इसे सहायक मानें, अंतिम निर्णायक नहीं।