mal-sh/multilingual-e5-small-mith-npairs

SentenceTransformer based on intfloat/multilingual-e5-small

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-small. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-small
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 384 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'BertModel'})
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("mal-sh/multilingual-e5-small-mith-npairs")
# Run inference
sentences = [
    'query: انا اود ان اقدم طلب لبطاقه الفيزا من بنك الراجحي وللحصول عليها لابد ان تدفع مبلغ سنوي يسمي مبلغ رسوم البطاقه لاستخدمها في عمليه الشراء سواء عن طريق الانترنت او عن طريق المحلات التجاريه وقد ابلغني البنك بانه لاياخذ اي عموله بمعني ان المبلغ الذي اشتريت به هو الذي سوف تدفعه للبنك بعد تسعين يوما من عمليه الشراء فهل يجوز لي اقتناء هذه البطاقه واستخدامها في غير الاصناف السته المذكوره في حديث المصطفي صلي الله عليه وسلم وهي الذهب والفضه الخ ارجو افادتي في سؤالي وجزاكم الله خيرا',
    'passage: الحمد لله والصلاه والسلام علي رسول الله وعلي اله وصحبه اما بعد فلا حرج في استخراج هذه البطاقات والتعامل بها وما ياخذه البنك رسما لاصدار البطاقه لا حرج فيه كذلك ويجوز لك ان تشتري بهذه البطاقه ما شئت من الامتعه والاعيان واذا كان المبلغ المستحق يدخل في حساب البائع مباشره عقب اتمام المعامله او يسجل في ورقه مشتمله علي بيانات صاحب البطاقه تكون بمثابه الشيك المصدق الذي يستطيع البائع استحقاق مقابله في اي وقت شاء جاز لك شراء الذهب والفضه وغيرهما من الاصناف الربويه بهذه البطاقه لوجود صوره القبض المعتبره شرعا والله اعلم',
    'passage: الحمد لله والصلاه والسلام علي رسول الله وعلي اله وصحبه اما بعد فيجوز شراء المجوهرات غير الذهب والفضه بهذه البطاقه اما الذهب والفضه فلا يجوز شراؤهما بهذه البطاقه وامثالها اذا كانت غير مغطاه واما ان كانت مغطاه فشراء الذهب بها جائز وراجعي مزيدا من التفصيل في الفتويين التاليتين وللفائده راجعي الفتويين التاليتين والله اعلم',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.9696, 0.1482],
#         [0.9696, 1.0000, 0.3638],
#         [0.1482, 0.3638, 1.0000]])

Training Details

Training Dataset

Unnamed Dataset

• Size: 98,640 training samples
• Columns: sentence_0, sentence_1, sentence_2, sentence_3, sentence_4, and sentence_5
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	sentence_2	sentence_3	sentence_4	sentence_5
  type	string	string	string	string	string	string
  details	min: 10 tokens mean: 103.88 tokens max: 504 tokens	min: 33 tokens mean: 234.63 tokens max: 512 tokens	min: 32 tokens mean: 190.25 tokens max: 512 tokens	min: 24 tokens mean: 188.25 tokens max: 503 tokens	min: 31 tokens mean: 190.19 tokens max: 511 tokens	min: 30 tokens mean: 189.41 tokens max: 505 tokens

• Samples:

  sentence_0	sentence_1	sentence_2	sentence_3	sentence_4	sentence_5
  query: عند صلاه الجنازه علي المراه هل نقول ابدلها زوجا خيرا من زوجها	passage: الحمد لله والصلاه والسلام علي رسول الله وعلي اله وصحبه اما بعد فالمنصوص في مذهب المالكيه والحنابله في الدعاء للمراه في الصلاه عليها عدم قول ابدلها خيرا من زوجها وعللوا بان المراه قد تكون زوجا في الاخره لزوجها في الدنيا قال في التاج والاكليل شرح مختصر خليل وان كانت امراه قلت اللهم انها امتك ثم تتمادي بذكرها علي التانيث غير انك لا تقول وابدلها خيرا من زوجها لانها قد تكون زوجا في الاخره لزوجها في الدنيا ونساء الجنه مقصورات علي ازواجهن لا يبغين بهم بدلا والرجل تكون له زوجات كثيره في الجنه ولا يكون للمراه ازواج انتهي وقال في كشاف القناع عن متن الاقناع من الحنابله ولا يقول ابدلها زوجا خيرا من زوجها في ظاهر كلامهم قاله في الفروع انتهي واما الشافعيه فلا باس عندهم ان يقال ابدلها زوجا خيرا من زوجها وذلك ان المراد بالابدال في الاهل والزوجه ابدال الاوصاف لا الذوات فيراد بابدالها زوجا خيرا من زوجها اي في صفاته بان يكون خيرا من حيث صفاته واخلاقه قال في نهايه المحتاج شرح المنهاج قوله وزوجا خيرا من زوجه قضيته ان يقال ذلك وان كان الميت انثي انتهي والظاهر ان المراد بالابدال في الاهل والزوجه ابد...	passage: الحمد لله والصلاه والسلام علي رسول الله وعلي اله وصحبه اما بعد فان الدعاء في الصلاه علي الميت واجب عند اهل العلم ويطلب الاخلاص فيه لقول النبي صلي الله عليه وسلم اذا صليتم علي الميت فاخلصوا له الدعاء رواه ابو داود والبيهقي وابن حبان والافضل ان يكون هذا الدعاء بما ثبت عن النبي صلي الله عليه وسلم انه دعا به فقد جاءت عده صيغ صحيحه عنه من ذلك قوله صلي الله عليه وسلم اللهم اغفر له وارحمه واعف عنه وعافه واكرم نزله ووسع مدخله واغسله بالماء والثلج والبرد ونقه من الخطايا كما ينقي الثوب الابيض من الدنس وابدله دارا خيرا من داره واهلا خيرا من اهله وزوجا خيرا من زوجه وقه فتنه القبر وعذاب النار رواه مسلم واذا لم يكن المصلي علي الميت يحفظ دعاء ماثورا عن النبي صلي الله عليه وسلم فانه يدعو بصيغه يمكن ان يصدق عليها الدعاء وهذا موجود في كتب اهل العلم ففي كشاف القناع للبهوتي ويدعو للميت في الثالثه سرا باحسن ما يحضره ولا توقيت اي تحديد فيه اي الدعاء للميت نص عليه ويسن الدعاء بالماثور وقال النووي في المجموع وباي شيء دعا جاز لانه نقل عن النبي صلي الله عليه وسلم ادعيه مختلفه فدل علي ان الجميع جائز وبه...	passage: الحمد لله والصلاه والسلام علي رسول الله وعلي اله وصحبه اما بعد فقد اجاز جمع من الفقهاء الصلاه علي الميت الغائب عن البلد الي مده شهر من دفنه اما اذا كان في نفس البلد فان من لم يصل عليه جاز له ان يصلي علي قبره لما في الصحيحين من حديث ابن عباس رضي الله عنهما قال انتهي النبي صلي الله عليه وسلم الي قبر رطب فصلي عليه وصفوا خلفه وكبر اربعا وفي الصحيحين ايضا ان امراه سوداء كانت تقم المسجد فسال عنها النبي صلي الله عليه وسلم فقالوا ماتت قال افلا كنتم اذنتموني قال دلوني علي قبرها فدلوه فصلي عليها ولا يشرع لمن صلي علي الجنازه ان يصلي عليها مره اخري قال صاحب بدائع الصنائع والتنفل بصلاه الجنازه غير مشروع بدليل ان من صلي مره لا يصلي ثانيا انتهي والله اعلم	passage: الحمد لله والصلاه والسلام علي رسول الله وعلي اله وصحبه اما بعد فصلاه الجنازه فرض كفايه عند جمهور العلماء من الحنفيه والشافعيه والحنابله والمشهور عند المالكيه فاذا قام بها بعض المصلين سقط الوجوب عن الاخرين فاذا كان هذا الشخص ترك الصلاه علي الجنازه وصلي عليها جماعه اخرون فلا اثم عليه لكنه فاته خير عظيم لا يقدر بثمن روي البخاري ومسلم في صحيحيهما عن ابي هريره رضي الله تعالي عنه قال قال رسول الله صلي الله عليه وسلم من شهد الجنازه حتي يصلي فله قيراط ومن شهد حتي تدفن كان له قيراطان قيل وما القيراطان قال مثل الجبلين العظيمين فصلاه الجنازه واتباعها مطلوب ومقصود قصدا مؤكدا وهو في حق الرحم والقريب والجار والصديق اكد والله اعلم	passage: الحمد لله والصلاه والسلام علي رسول الله وعلي اله وصحبه اما بعد فالحسد امر مذموم وخلق مشئوم وقد ورد النهي عنه في الكتاب والسنه وهو صفه ذم نعاها الله علي اليهود ضمن ما فيهم من الصفات الذميمه قال تعالي ود كثير من اهل الكتاب لو يردونكم من بعد ايمانكم كفارا حسدا من عند انفسهم البقره من الايه ويقول النبي صلي الله عليه وسلم اياكم والظن فان الظن اكذب الحديث ولا تحسسوا ولا تجسسوا ولا تحاسدوا ولا تدابروا ولا تباغضوا وكونوا عباد الله اخوانا متفق عليه ويقول النبي صلي الله عليه وسلم ولا يجتمعان في قلب عبد الايمان والحسد رواه النسائي من حديث ابي هريره رضي الله عنه ومعني لا يجتمعان اي لا ينبغي للمؤمن ان يحسد فانه ليس من شانه ذلك ويحتمل ان المراد بالايمان كماله والخلاصه ان الحاسد مسلم يجب علي المسلمين ان يصلوا عليه كما يصلي علي بقيه المسلمين اما الصلاه علي الغائب فسبق بيان حكمها في الفتوي رقم والفتوي رقم والله اعلم
  query: اثناء شجاري مع زوجتي علي الهاتف حلفت عليها بالطلاق وقلت لها تكونين طالقا بالثلاثه لو تكلمت ولم تغلقيه حالا ولم تتكلم ولم تغلقه لبضع ثوان ولخوفي من ان تتكلم باي كلمه قلت لها انا قلت حالا فاغلقت الخط دون ان تتكلم فهل يقع الطلاق وعندما عاودت مكالمتها اخبرتني انها لم تسمع في المره الاولي انني قلت حالا وعندما سمعت اغلقت الهاتف ونيتي ان تغلق دون ان تتكلم	passage: الحمد لله والصلاه والسلام علي رسول الله وعلي اله وصحبه اما بعد فما دامت زوجتك قد اطاعتك ولم تتكلم ثم اغلقت الهاتف ولم تتاخر الا ثوان فقد بررت في يمينك ولم تحنث وعلي فرض انها تاخرت عن الزمن الذي قصدته في يمينك بسبب عدم سماعها قولك حالا فالذي رجحه بعض المحققين من العلماء عدم الحنث في هذه الحال كما بيناه في الفتوي رقم وعليه فلم يقع طلاقك علي امراتك لكن ننبهك الي ان الحلف المشروع هو الحلف بالله تعالي واما الحلف بالطلاق فهو من ايمان الفساق وقد يترتب عليه ما لا تحمد عقباه ولا سيما اذا كان بلفظ الثلاث فان اكثر اهل العلم يوقعون به الثلاث عند الحنث والله اعلم	passage: الحمد لله والصلاه والسلام علي رسول الله وعلي اله وصحبه اما بعد فالظاهر من السياق يدل علي انك قصدت بيمينك منع زوجتك من النزول بغير اذنك سواء كان الاذن بالقول ام بما يدل عليه وعليه فما دامت زوجتك قد اطاعتك ولم تنزل بغير موافقتك فقد بررت في يمينك ولم تحنث بنزولها معك بعد ذلك وننبه الي ان الحلف المشروع هو الحلف بالله تعالي واما الحلف بالطلاق فهو من ايمان الفساق وقد يترتب عليه ما لا تحمد عقباه ولا سيما اذا كان بلفظ الثلاث والله اعلم	passage: الحمد لله والصلاه والسلام علي رسول الله وعلي اله وصحبه اما بعد فما دمت حلفت علي عدم ذهابك لرد زوجتك من بيت ابيها ولم تذهب لردها ولكنها رجعت مع جدك فقد بررت في يمينك ولم تحنث فيه ولم يقع طلاقك لكن ننبهك الي ان الحلف المشروع هو الحلف بالله تعالي واما الحلف بالطلاق فهو من ايمان الفساق وقد يترتب عليه ما لا تحمد عقباه فينبغي الحذر من الوقوع فيه والله اعلم	passage: الحمد لله والصلاه والسلام علي رسول الله وعلي اله وصحبه اما بعد فالظاهر من سؤالك ان زوجتك امتثلت امرك وقامت كما اردت ولم تخالفك وتاخرها اليسير عن القيام لا ينافي امتثالها الامر ولو فرض انها تاخرت عن القيام بعد تمكنها منه ثم قامت فهذا يحصل به البر اذا لم تكن لك نيه معينه في يمينك قال ابو الخطاب الحنبلي رحمه الله فاما ان قال ان لم تدخلي الدار فانت طالق ولا نيه له فانها اذا لم تدخل لا يقع بها الطلاق الا في اخر جزء من اخر حياه احدهما الهدايه علي مذهب الامام احمد ص وعليه فالظاهر انك بررت في يمينك ولم تحنث فيه فلم يقع طلاقك لكن ننبهك الي ان الحلف المشروع هو الحلف بالله تعالي واما الحلف بالطلاق فهو من ايمان الفساق وقد يترتب عليه ما لا تحمد عقباه ولا سيما اذا كان بلفظ الثلاث والله اعلم	passage: الحمد لله والصلاه والسلام علي رسول الله وعلي اله وصحبه اما بعد فان كنت حلفت بالطلاق صادقا في وصفك للرجل بالمرض ولو في ظنك فقد بررت في يمينك ولا شيء عليك واما ان كنت حلفت متعمدا الكذب في الوصف فقد حنثت عند جماهير اهل العلم ووقع طلاقك وراجع الفتوي رقم واعلم ان الحلف المشروع هو الحلف بالله تعالي واما الحلف بالطلاق فهو من ايمان الفساق وقد يترتب عليه ما لا تحمد عقباه والله اعلم
  query: السلام عليكم ورحمه الله اني شخص مقدم علي فتح مؤسسه واستقدام عمال وتشغيلهم فهل يجوز ان يشتغلوا ويعطيني كل واحد منهم اخر الشهر مثلا ثلاثمائه ريال علما انهم راضون بهذا لانهم يحصلون علي اكثر من ذلك وجزاكم الله خيرا	passage: الحمد لله والصلاه والسلام علي رسول الله وعلي اله وصحبه اما بعد فلا يجوز لك ان تاخذ هذه المبالغ من العمال لما يشتمل عليه هذا التعامل من الغرر المنهي عنه شرعا ولان الجعل الذي جعلوه لك جعل مجهول فلا يعلم كم سيشتغلون شهرا ام شهورا ام سنين ويجوز لك ان تاخذ منهم جعلا معلوما يؤدونه لك مره واحده او يقسطونه علي فتره زمنيه ويجب التنبه الي ما يشوب مثل هذه الاعمال والعقود من مخالفات شرعيه وسوء تعامل مع الاخرين واكل حقوق الناس بالباطل والله اعلم	passage: الحمد لله والصلاه والسلام علي رسول الله وعلي اله وصحبه اما بعد فالعموله او السمسره يجوز اخذها من البائع والمشتري معا او من احدهما دون الاخر وعندئذ يشترط ان يعلم بها من تاخذ منه وحده دون الاخر وانظر الفتوي وطالما ان هذه الزياده دولار سيدفعها المشتري الذي طلب السياره وحده فلا يجوز اخذها الا بعلمه والله اعلم	passage: الحمد لله والصلاه والسلام علي رسول الله وعلي اله وصحبه اما بعد فلا يجوز لك فعل ذلك لانه من التعاون علي الاثم والعدوان واكل اموال الناس بالباطل فوكيل الشركه ليس له اخذ هذه السمسره دون علم الشركه والتحايل معه علي ذلك محرم وراجع الفتوي رقم والله اعلم	passage: الحمد لله والصلاه والسلام علي رسول الله وعلي اله وصحبه اما بعد فاتفاقك مع من يبحث لك عن عمل مقابل جعل معلوم لا باس به اما اذا لم يعلم هذا الجعل كما هو الحال في السؤال فانه لا يجوز اذ من غير المعلوم كم هي العشره في المائه من الراتب وان علمت فلا يعلم عدد الشهور التي سيقتطع منها والله اعلم	passage: الحمد لله والصلاه والسلام علي رسول الله وعلي اله وصحبه اما بعد فلا يجوز للموظف ان ياخذ عموله من المكتب الذي يتعامل مع شركته الا اذا اذنت له الشركه في ذلك وراجع الفتوي والله اعلم

• Loss: main.NPairLoss

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• num_train_epochs: 1
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss
0.0203	500	2.6164
0.0406	1000	2.3898
0.0608	1500	2.3783
0.0811	2000	2.3504
0.1014	2500	2.3393
0.1217	3000	2.344
0.1419	3500	2.3298
0.1622	4000	2.3192
0.1825	4500	2.3051
0.2028	5000	2.3025
0.2230	5500	2.3032
0.2433	6000	2.2949
0.2636	6500	2.2943
0.2839	7000	2.2908
0.3041	7500	2.3022
0.3244	8000	2.2849
0.3447	8500	2.2817
0.3650	9000	2.2883
0.3852	9500	2.2758
0.4055	10000	2.2792
0.4258	10500	2.2776
0.4461	11000	2.2692
0.4663	11500	2.2738
0.4866	12000	2.276
0.5069	12500	2.2596
0.5272	13000	2.2566
0.5474	13500	2.2809
0.5677	14000	2.2744
0.5880	14500	2.2672
0.6083	15000	2.2577
0.6285	15500	2.2707
0.6488	16000	2.2526
0.6691	16500	2.2483
0.6894	17000	2.2548
0.7097	17500	2.2505
0.7299	18000	2.255
0.7502	18500	2.2541
0.7705	19000	2.2577
0.7908	19500	2.251
0.8110	20000	2.2527
0.8313	20500	2.2528
0.8516	21000	2.2573
0.8719	21500	2.2526
0.8921	22000	2.2525
0.9124	22500	2.2418
0.9327	23000	2.2529
0.9530	23500	2.2584
0.9732	24000	2.2558

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 5.0.0
• Transformers: 4.54.1
• PyTorch: 2.7.1+cu126
• Accelerate: 1.9.0
• Datasets: 3.6.0
• Tokenizers: 0.21.4

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}