لديك عشرات أو مئات التعليقات العربية على منتج أو تطبيق أو خدمة، وتريد معرفة عدد الآراء الإيجابية والسلبية والمحايدة دون قراءة كل تعليق يدويًا؟ يمكن تنفيذ ذلك باستخدام بايثون ونموذج جاهز لتحليل المشاعر العربية، ثم حفظ النتائج في ملف CSV يمكن فتحه في Excel.
في هذا المشروع من بايثون العرب سنبني برنامجًا يقرأ تعليقات من ملف reviews.csv، ويستخدم نموذج CAMeLBERT لتصنيفها، ويُنتج ملفي results.csv وsummary.csv. سنشرح خطوات التشغيل، والكود، والأخطاء المتوقعة، وحدود دقة النتائج، من دون تدريب نموذج من الصفر.
قبل البدء: تحتاج إلى معرفة أساسية ببايثون والملفات وCSV. يتطلب تنزيل النموذج للمرة الأولى اتصالًا بالإنترنت ومساحة وذاكرة مناسبة؛ وبعد التنزيل يعمل التصنيف محليًا على جهازك. قد يكون التنفيذ على المعالج CPU بطيئًا نسبيًا.
يتضمن كود المشروع، وملف تعليقات عربي للتجربة، والمتطلبات، ودليل التشغيل، واختبارات معالجة CSV.
تحميل ملفات المشروع ZIPما تحليل المشاعر العربية؟ وكيف يعمل مشروعنا؟
تحليل المشاعر (Sentiment Analysis) مهمة من مهام معالجة اللغة الطبيعية (NLP) تحاول تقدير موقف النص: إيجابي أم سلبي أم محايد. مثلًا، عبارة «الخدمة ممتازة وسريعة» تحمل دلالة إيجابية، أما «التطبيق يتوقف باستمرار» فتحمل دلالة سلبية غالبًا؛ لكن النموذج قد يُخطئ خصوصًا مع السخرية أو النفي أو اختلاف اللهجات.
يعتمد مشروعنا على نموذج CAMeL-Lab/bert-base-arabic-camelbert-da-sentiment، وهو نموذج عربي مُدرّب مسبقًا ثم ضُبط لمهمة المشاعر اعتمادًا على مجموعات بيانات عربية. تصنيفاته الرسمية ثلاث: positive وnegative وneutral.
| القيمة من النموذج | ترجمتها | كيف نفهمها؟ |
|---|---|---|
positive | إيجابي | الرأي يميل إلى الرضا أو المدح |
negative | سلبي | الرأي يميل إلى الاستياء أو الانتقاد |
neutral | محايد | خبر أو وصف لا يُظهر موقفًا واضحًا للنموذج |
لا تساوي قيمة score «دقة البرنامج»؛ هي درجة يمنحها النموذج للفئة التي اختارها لذلك النص، ويمكن أن يكون واثقًا ويُخطئ. لقياس جودة التصنيف نحتاج بيانات مُصنّفة يدويًا وتقييمًا مستقلًا، وليس النظر إلى درجة تعليق واحد.
تنبيه: لا تستنتج من نتيجة النموذج حكمًا مؤكدًا على شخص أو عميل. استخدمه للمساعدة على فرز التعليقات وتحليل الاتجاهات، مع مراجعة النتائج غير الواضحة أو المهمة يدويًا.
كيف يمر التعليق من CSV إلى تقرير النتائج؟
يتكون المشروع من خمس خطوات متتابعة: قراءة ملف CSV، والتحقق من عمود review، وتجاوز التعليقات الفارغة، وتصنيف التعليقات الصالحة على دفعات، ثم حفظ ملف التفاصيل وملف الملخص. سنحتفظ بكل الصفوف وبالأعمدة الأصلية حتى يتمكن القارئ من الرجوع إلى رقم التعليق أو مصدره.
نتيجة ذلك ملف results.csv يحتوي على النص الأصلي واسم الفئة ودرجتها، وملف summary.csv يعرض عدد التعليقات ونسبها حسب الفئة. ويُحسب المقام في النسب من التعليقات المصنّفة فقط، لا من الصفوف الفارغة.
المتطلبات وتثبيت مكتبات تحليل المشاعر
يُفضّل استخدام Python 3.11 أو 3.12 داخل بيئة افتراضية مستقلة. تشمل حزمة المشروع ملف requirements.txt وفيه المكتبات transformers وtorch وpandas. إذا لم تسبق لك تهيئة بيئة بايثون، راجع تجهيز بيئة بايثون للذكاء الاصطناعي أولًا.
بعد فك ضغط المشروع، افتح الطرفية داخل مجلده ونفّذ:
python -m venv .venv
في Windows عبر موجه الأوامر CMD، فعّل البيئة باستخدام:
.venv\Scripts\activate.bat
وفي Linux أو macOS:
source .venv/bin/activate
ثبّت الاعتمادات من الملف المرفق:
python -m pip install -r requirements.txt
إذا فشل تثبيت torch، راجع طريقة التثبيت المناسبة لنظامك من PyTorch. وإذا كانت بيئتك ذات ذاكرة محدودة، فقد تحتاج تشغيل المشروع على حاسوب آخر أو بيئة مناسبة؛ هذا ليس مشروعًا ملائمًا لكل بيئات استضافة الويب المجانية.
أول مثال: تصنيف تعليق عربي باستخدام CAMeLBERT
قبل الانتقال إلى CSV، جرّب التصنيف على جملة واحدة. تستدعي دالة pipeline() النموذج والمحلّل اللغوي المناسبين من Hugging Face. يتم تنزيل ملفات النموذج في التشغيل الأول، ثم تُستخدم النسخة المخزنة محليًا ما دامت متاحة.
from transformers import pipeline
model = pipeline(
"text-classification",
model="CAMeL-Lab/bert-base-arabic-camelbert-da-sentiment",
device=-1,
)
result = model("الخدمة ممتازة وسريعة جدًا", truncation=True, max_length=512)
print(result)
ستظهر قائمة تحتوي قاموسًا به label وscore. لا نثبت هنا قيمة رقمية معينة، لأن النتيجة تتحدد بإصدار النموذج وبيئة التشغيل. وللمقارنة، تعرض بطاقة النموذج الرسمية مثالًا موثقًا للنصين «أنا بخير» و«أنا لست بخير» وتصنيفهما. هذا مثال منشور لدى مطوري النموذج، وليس نتيجة اختبار أجريناه على جهازنا.
استخدمنا device=-1 لتشغيل النموذج على CPU، وtruncation=True مع max_length=512 لتفادي تجاوز طول مدخلات النموذج. النصوص الطويلة ستُقتطع؛ لذلك لا ينبغي تجاهل هذه النقطة عند تحليل مراجعات طويلة.
تحليل مجموعة تعليقات عربية دفعة واحدة
بدل استدعاء النموذج لكل تعليق على حدة، يمكن تمرير قائمة كاملة. هذا مفيد قبل التعامل مع مئات الصفوف.
comments = [
"التطبيق رائع وسهل الاستخدام",
"الخدمة سيئة والتأخير مزعج",
"وصل الطلب يوم الثلاثاء",
]
predictions = model(comments, truncation=True, max_length=512, batch_size=3)
for comment, prediction in zip(comments, predictions):
print(comment, "=>", prediction["label"], prediction["score"])
انتبه إلى أن هذه الجمل أمثلة تعليمية، وليست تعليقات مصنفة مسبقًا للتقييم. وقد يفسر النموذج عبارة تبدو محايدة لنا على نحو مختلف، لذلك ينبغي التحقق من النتائج بدل افتراض صحتها.
تجهيز ملف reviews.csv بتعليقات عربية
يوجد ضمن المشروع ملف reviews.csv تجريبي يحتوي عمودًا باسم review، وعمود id اختياريًا للاحتفاظ بترتيب التعليقات. وهذا مثال على أول أربعة صفوف:
id,review
1,الخدمة ممتازة وسريعة جدًا
2,تأخر الطلب ولم يعجبني التعامل
3,وصل المنتج يوم الثلاثاء
4,التطبيق رائع وسهل الاستخدام
اسم العمود review ضروري في هذا المشروع بالضبط. إذا كانت بياناتك تستخدم الاسم comment أو التعليق، فغيّر عنوان العمود في CSV أو عدّل الكود. احفظ الملف بترميز UTF-8، ولا تُدخل تعليقات تحتوي بيانات شخصية لا تملك إذنًا لمعالجتها.
قراءة التعليقات ببايثون باستخدام Pandas
تسمح لنا مكتبة pandas بفتح CSV وفحص الأعمدة مع الحفاظ على ترتيب الصفوف. نستخدم utf-8-sig حتى تُقرأ الملفات ذات علامة BOM أيضًا، وkeep_default_na=False لتفادي تحويل بعض النصوص القصيرة إلى قيم مفقودة تلقائيًا.
import pandas as pd
frame = pd.read_csv(
"reviews.csv",
dtype=str,
keep_default_na=False,
encoding="utf-8-sig",
)
if "review" not in frame.columns:
raise ValueError("ملف CSV لا يحتوي عمود review")
print("عدد الصفوف:", len(frame))
سوف نتجاوز الخلايا الخالية والمسافات فقط عند التصنيف، لكننا لن نحذف صفوفها من الملف النهائي. بهذا لا يتغير ربط التعليق برقم id، ويمكن معرفة أي الصفوف لم تخضع للتحليل.
مشروع Python كامل لتصنيف التعليقات وحفظ النتائج
يتضمن الملف app.py في الحزمة الوظائف التالية:
load_classifier(): تحميل نموذج CAMeLBERT عند الحاجة فقط.classify_reviews(): تصنيف التعليقات غير الفارغة على دفعات مع الاحتفاظ بجميع الصفوف.build_summary(): حساب عدد ونسبة كل فئة من إجمالي التعليقات المصنفة.main(): قراءة الخيارات من الطرفية، وتنفيذ المشروع، وحفظ CSV أو عرض رسالة خطأ مفهومة.
هذا هو الكود الكامل كما ورد في ملف المشروع، لتستطيع مراجعته حتى إن لم تحمل الأرشيف:
"""Analyze Arabic reviews from CSV with CAMeLBERT; save row-wise results and summary."""
from __future__ import annotations
import argparse
from pathlib import Path
import pandas as pd
MODEL_ID = "CAMeL-Lab/bert-base-arabic-camelbert-da-sentiment"
LABELS_AR = {"positive": "إيجابي", "negative": "سلبي", "neutral": "محايد"}
def load_classifier():
"""Load the actual model only when inference is needed."""
from transformers import pipeline
return pipeline("text-classification", model=MODEL_ID, device=-1)
def classify_reviews(frame: pd.DataFrame, classifier, batch_size: int = 8) -> pd.DataFrame:
"""Keep input rows in original order and do not classify blank comments."""
if batch_size <= 0:
raise ValueError("batch_size must be a positive integer")
if "review" not in frame.columns:
raise ValueError("الملف يجب أن يحتوي عمودًا اسمه review")
result = frame.copy()
result["sentiment"] = ""
result["sentiment_ar"] = ""
result["score"] = ""
valid_rows = [index for index, value in result["review"].items()
if isinstance(value, str) and value.strip()]
for start in range(0, len(valid_rows), batch_size):
positions = valid_rows[start:start + batch_size]
sentences = [result.at[index, "review"].strip() for index in positions]
predictions = classifier(
sentences,
truncation=True,
max_length=512,
batch_size=batch_size,
)
if len(predictions) != len(sentences):
raise ValueError("عدد نتائج النموذج لا يطابق عدد التعليقات")
for index, predicted in zip(positions, predictions):
label = str(predicted["label"]).strip().lower()
if label not in LABELS_AR:
raise ValueError(f"فئة غير متوقعة من النموذج: {label}")
result.at[index, "sentiment"] = label
result.at[index, "sentiment_ar"] = LABELS_AR[label]
result.at[index, "score"] = round(float(predicted["score"]), 4)
return result
def build_summary(result: pd.DataFrame) -> pd.DataFrame:
"""Percentages are calculated out of analyzed (nonblank) comments."""
counts = result["sentiment"].value_counts()
analyzed = int(sum(int(counts.get(label, 0)) for label in LABELS_AR))
return pd.DataFrame([
{
"sentiment": label,
"sentiment_ar": arabic,
"count": int(counts.get(label, 0)),
"percent_of_analyzed": round(100 * int(counts.get(label, 0)) / analyzed, 2)
if analyzed else 0.0,
}
for label, arabic in LABELS_AR.items()
])
def parse_args(argv: list[str] | None = None):
parser = argparse.ArgumentParser(description="Analyze Arabic reviews from CSV")
parser.add_argument("--input", default="reviews.csv", help="Input CSV; requires review column")
parser.add_argument("--output", default="results.csv", help="Detailed results CSV")
parser.add_argument("--summary", default="summary.csv", help="Summary CSV")
parser.add_argument("--batch-size", type=int, default=8, help="Rows per inference batch")
args = parser.parse_args(argv)
if args.batch_size <= 0:
parser.error("--batch-size must be positive")
paths = [Path(args.input).expanduser().resolve(), Path(args.output).expanduser().resolve(),
Path(args.summary).expanduser().resolve()]
if len(set(paths)) != 3:
parser.error("input, output and summary must be different files")
return args
def main(argv: list[str] | None = None) -> int:
args = parse_args(argv)
input_file = Path(args.input)
try:
frame = pd.read_csv(input_file, dtype=str, keep_default_na=False, encoding="utf-8-sig")
except (OSError, pd.errors.EmptyDataError, UnicodeError) as exc:
print(f"تعذر قراءة CSV: {exc}")
return 1
if "review" not in frame.columns:
print("خطأ: يجب أن يحتوي ملف CSV عمودًا بعنوان review")
return 1
count_valid = sum(isinstance(text, str) and bool(text.strip()) for text in frame["review"])
print(f"عدد الصفوف: {len(frame)} | التعليقات الصالحة: {count_valid}")
if count_valid:
print("تحميل نموذج CAMeLBERT؛ قد يتطلب التنزيل الأول اتصالًا بالإنترنت...")
try:
classifier = load_classifier()
result = classify_reviews(frame, classifier, batch_size=args.batch_size)
except (OSError, ImportError, RuntimeError, ValueError) as exc:
print(f"فشل تحميل النموذج أو التصنيف: {exc}")
return 1
else:
result = classify_reviews(frame, classifier=None, batch_size=args.batch_size)
summary = build_summary(result)
try:
Path(args.output).parent.mkdir(parents=True, exist_ok=True)
Path(args.summary).parent.mkdir(parents=True, exist_ok=True)
result.to_csv(args.output, index=False, encoding="utf-8-sig")
summary.to_csv(args.summary, index=False, encoding="utf-8-sig")
except OSError as exc:
print(f"تعذر حفظ النتائج: {exc}")
return 1
print(f"التعليقات المتجاوزة (فارغة): {len(frame) - count_valid}")
print("التوزيع حسب الفئة (النسب من التعليقات المصنفة):")
for row in summary.itertuples(index=False):
print(f" {row.sentiment_ar}: {row.count} ({row.percent_of_analyzed:.2f}%)")
print(f"النتائج: {args.output} | التقرير: {args.summary}")
return 0
if __name__ == "__main__":
raise SystemExit(main())
البرنامج لا يطبّق قواعد يدوية مثل «الكلمة تحتوي ممتاز إذن إيجابي». بل يعرض نتيجة النموذج الفعلي؛ أما تفسير النتيجة فيعتمد على فئة label التي يعيدها النموذج وعلى مقياسه score.
تشغيل المشروع وإنشاء results.csv وsummary.csv
داخل مجلد المشروع، وبعد تثبيت المتطلبات، شغّل الأمر التالي:
python app.py --input reviews.csv --output results.csv --summary summary.csv --batch-size 4
قبل التصنيف سيظهر عدد الصفوف الصالحة، ثم يبدأ تحميل النموذج أو استخدام نسخته المحلية. بعد اكتماله يُنشئ البرنامج ملفين:
| الملف | ما الذي ستجده بداخله؟ |
|---|---|
results.csv | الأعمدة الأصلية، ثم sentiment وsentiment_ar وscore لكل تعليق صالح |
summary.csv | أسماء الفئات الثلاث، وعدد التعليقات في كل فئة، والنسبة المئوية من التعليقات المصنفة |
على سبيل المثال، هذه رؤوس الأعمدة الفعلية التي سينشئها الكود، وليست نتائج استدلال مفترضة:
# results.csv
id,review,sentiment,sentiment_ar,score
# summary.csv
sentiment,sentiment_ar,count,percent_of_analyzed
إذا احتوى الملف على 10 صفوف وكان أحدها فارغًا، فسيبقى الصف موجودًا في results.csv دون تصنيف، وسيُحسب توزيع الإيجابي والسلبي والمحايد من التعليقات التسعة التي صُنفت فقط. ويستخدم الحفظ ترميز utf-8-sig لتسهيل قراءة النصوص العربية في Excel.
نصيحة للتجربة: ابدأ بملف reviews.csv المرفق، ثم غيّر 3 تعليقات وشغّل الأمر مجددًا. قارن الفئات يدويًا؛ لا تتوقع أن تكون كل النواتج صحيحة، خصوصًا عند وجود نفي أو تهكم.
كيف يعمل تصنيف الدفعات وحساب النسب؟
عند اختيار --batch-size 4 سنرسل أربع جمل غير فارغة في كل دفعة تقريبًا. يقسم البرنامج مواضع الصفوف باستخدام range()، ثم يعيد نتائج الدفعة إلى مواضعها الأصلية. وبذلك يظل ترتيب التعليقات في التقرير مطابقًا للمدخلات، حتى عند وجود صفوف فارغة.
نحسب نسبة كل فئة بهذه الصيغة:
percentage = round((category_count / analyzed_count) * 100, 2)
لكن لا ننفّذ القسمة إذا كان analyzed_count يساوي صفرًا؛ ففي هذه الحالة تُكتب النسب 0.0 ويُحفظ التقرير دون خطأ. كما نستخدم max_length=512 لحماية الاستدعاء من تجاوز حد النموذج، لكنه يعني إمكان فقد جزء من نص المراجعة الطويلة.
كيف تختبر النتائج وتكتشف أخطاء النموذج؟
الاختبار البرمجي وحده لا يثبت صحة تصنيف المشاعر. من المفيد جمع عينة من تعليقات عربية حقيقية مع تصنيفات بشرية مستقلة، ثم مقارنة الفئتين. ركّز على الحالات الصعبة مثل:
- النفي: «الخدمة ليست سيئة» قد لا تعني الرضا الكامل.
- السخرية: «يا سلام على السرعة، انتظرت ساعتين فقط!».
- اللهجات: تعبيرات المديح أو الذم تختلف من بلد إلى آخر.
- التعليقات المختلطة: «المنتج ممتاز، لكن التوصيل سيئ».
- التعليقات الطويلة: يمكن اقتطاع النص عند الحد الأقصى للرموز، مما قد يحذف نهاية مهمة.
إذا توفرت بيانات مصنفة يدويًا، يمكن لاحقًا حساب precision وrecall وF1-score؛ لكننا لا نضع رقم دقة للمشروع من دون تجربة تقييم موثقة على بيانات مستقلة.
حل مشكلات تشغيل CAMeLBERT وقراءة CSV
| الخطأ | السبب المحتمل | طريقة التعامل معه |
|---|---|---|
No module named transformers | المكتبات غير مثبتة في مفسّر بايثون المستخدم | شغّل python -m pip install -r requirements.txt في البيئة الصحيحة |
| فشل تنزيل النموذج | انقطاع الاتصال أو حظر Hugging Face أو مساحة غير كافية | تحقق من الشبكة والصلاحيات والمساحة وأعِد المحاولة |
| نفاد الذاكرة أو بطء شديد | نموذج BERT كبير مقارنة بموارد الجهاز | استخدم CPU بجهاز مناسب، وقلّل --batch-size عند الحاجة |
review غير موجود | عنوان العمود مختلف | أعد تسمية عمود النصوص إلى review |
| أحرف عربية غير واضحة | الملف محفوظ بترميز مختلف | احفظ CSV بترميز UTF-8 واستخدم خيار التصدير الموافق |
| نتائج غير منطقية لبعض التعليقات | سخرية أو لهجة أو نص أطول من حد النموذج | راجع النص والتصنيف يدويًا ولا تعتبر درجة score ضمانًا للصحة |
يمكنك أيضًا تغيير مسارات الملفات بإضافة --input و--output و--summary. لكن تجنب إعطاء المسار نفسه للإدخال والإخراج؛ الكود يمنع ذلك لحماية بياناتك الأصلية.
ماذا اختبرنا في مشروع تحليل المشاعر؟
تتضمن الحزمة اختبارات pytest لمسار معالجة البيانات: الحفاظ على ترتيب الصفوف، وتجاوز الفراغات، والتقسيم إلى دفعات، ورفض الفئات غير المعروفة، وحساب النسب، وقراءة وحفظ CSV بترميز مناسب. نجحت 15 تجربة اختبارية عند تشغيلها باستخدام نموذج محاكي FakeClassifier يعيد تصنيفات اصطناعية محددة.
هذه الاختبارات لا تثبت تشغيل CAMeLBERT الحقيقي أو دقته. لم نحمّل أوزان النموذج في بيئة إعداد المشروع؛ يلزم تثبيت الاعتمادات وتنزيل النموذج وتشغيل تجربة فعلية على جهاز المستخدم. ولهذا لم نضع جدول نتائج مصنّفة بأرقام تبدو حقيقية من غير اختبار.
لتشغيل الاختبارات بعد تثبيت pytest:
python -m pip install pytest
python -m pytest -q
وإذا أردت التوسع قبل تنفيذ المشروع، يمكنك مراجعة خريطة تعلم الذكاء الاصطناعي ببايثون، ثم الانتقال إلى قسم تحليل البيانات ببايثون لفهم التعامل مع CSV وPandas.
المراجع الرسمية للمشروع
- بطاقة نموذج CAMeLBERT لتحليل مشاعر العربية — تعريف النموذج وفئاته وطريقة تشغيله.
- دليل Transformers Pipeline — استدعاء نموذج التصنيف ووسائطه.
- توثيق pandas.read_csv — خيارات قراءة CSV والترميز.
- توثيق DataFrame.to_csv — كتابة النتائج إلى CSV.
الأسئلة الشائعة حول تحليل المشاعر العربية ببايثون
هل يحتاج مشروع تحليل المشاعر إلى تدريب نموذج ذكاء اصطناعي؟
لا. يستخدم المشروع نموذج CAMeLBERT مدرّبًا مسبقًا؛ تنزّل أوزانه وتنفّذ التصنيف مباشرة. التدريب من الصفر أو إعادة الضبط الدقيق خطوة متقدمة لا نحتاجها لبدء هذا التطبيق.
هل يعمل تحليل المشاعر العربية دون إنترنت؟
بعد تنزيل المكتبات وملفات النموذج وتخزينها محليًا، يمكن تنفيذ التصنيف على الجهاز دون خدمة API خارجية. أول تشغيل يحتاج عادةً اتصالًا لتنزيل النموذج، وقد تحتاج إعداد مسارات التخزين المسبق في البيئات المقيدة.
هل يفهم النموذج جميع اللهجات العربية؟
لا يمكن ضمان ذلك. هو نموذج مخصص للعربية اللهجية، لكن قدرته تختلف حسب اللهجة وموضوع التعليقات وصياغتها. اختبر بياناتك الفعلية وراجع الأخطاء.
هل درجة score تساوي دقة التحليل؟
لا. هي درجة الفئة التي توقعها النموذج لذلك النص. قياس جودة النموذج يحتاج مقارنة تنبؤاته بتصنيفات بشرية صحيحة في مجموعة اختبار مناسبة.
ماذا أفعل إذا كانت بعض التعليقات فارغة؟
يتجاوزها المشروع دون حذف الصف من results.csv، ويترك حقول التصنيف فارغة. كما لا تدخل هذه الصفوف في حساب نسب المشاعر.
هل يمكن فتح نتائج المشروع في Excel؟
نعم. تُحفظ النتائج بصيغة CSV وترميز utf-8-sig لتسهيل عرض العربية في Excel. وإذا كانت البيانات من مستخدمين غير موثوقين، راجع الخلايا قبل فتحها في برامج الجداول، خصوصًا تلك التي قد تُفسَّر كصيغ.
هل يمكن استخدام المشروع لتحليل آلاف التعليقات؟
يمكن تشغيله على ملفات كبيرة نسبيًا، لكن السرعة واستهلاك الذاكرة يعتمدان على الجهاز وطول النصوص وحجم الدفعة. ابدأ بعينة صغيرة، ثم زِد الحجم تدريجيًا وقيّم زمن التشغيل قبل استخدامه في إنتاج فعلي.



