مقدمة في استخراج البيانات فكس يتيح تقديم مقدمة بسيطة وسريعة إلى واحدة من المجالات الأكثر إثارة للاهتمام اليوم - التعدين البيانات. هناك مجموعة واسعة من تطبيقات استخراج البيانات. يجب دمج دمج البيانات في تداول العملات الأجنبية. فكس، الفوركس أو العملات الأجنبية فكس هي أكبر سوق من حيث حجم التداول اليومي. لديها ثلاثة مستويات رئيسية من المشاركين: الأولاد الكبار، والمستوى المتوسط والتجار بسيطة كما كنت ولي. لديها طبيعة المضاربة، وهو ما يعني أكثر من مرة ونحن لا تبادل السلع. نحن نهتم فقط للفرق وترغب في شراء منخفضة وبيع عالية أو بيع عالية وشراء منخفضة. من خلال عمليات قصيرة أو طويلة يمكننا الحصول على نقاط. اعتمادا على حجم التداول الخاص بك، وقيمة النقطة يمكن أن تتراوح بين سنت واحد إلى 10 وأكثر من ذلك. هذه هي الطريقة الرئيسية لكسب المال في سوق العملات الأجنبية (جنبا إلى جنب مع كاري التجارة، الوساطة، التحكيم وأكثر من ذلك). لاحظ أن سوق العملات الأجنبية ضخمة ولكنها مناسبة لجميع مستويات اللاعبين. فكر في سوق الفوركس كسوبر ماركت لانهائي مع عدد لا حصر له من المنتجات والعملاء، ولكن لديها أيضا عدد لا حصر له من الصرافين. وهذا يعني أن هناك قدرا متساويا من الفرص للجميع. البيانات التعدين والتعلم الآلي البيانات التعدين هو حقل فرعي ناضجة من علوم الحاسب الآلي. في حوالي الكثير من البيانات واستخراج غير تافهة من المعرفة القابلة للاستخدام من كميات هائلة من البيانات. في القيام به عن طريق معالجة البيانات الذكية باستخدام خوارزميات التعلم الآلي. استخراج البيانات ليست مجرد كرود (إنشاء، قراءة وتحديث وحذف). لدينا العديد من أساليب استخراج البيانات. هنا الطرق وبعض التطبيقات. التصنيف - تصنيف البريد الإلكتروني كرسالة غير مرغوب فيها، وتصنيف معاملة على أنها احتيال. جمعية - يوتيوب يقترح لنا أشرطة الفيديو الجديدة على أساس تاريخنا. الأمازون يقترح لنا المزيد من البنود أثناء الخروج. تجميع - تحليل البيانات غير المهيكلة مثل الأخبار الاقتصادية والآراء للعثور على مجموعات مشتركة. عملية التعدين - فحص سجلات مشغلي المكالمات من أجل العثور على عمليات غير فعالة. نص التعدين - أخبار التعدين أو التحليل الفني للتعرف على الأنماط. خوارزمية التداول هو التنفيذ الآلي للخوارزمية التداول. في حالتنا، خوارزمية التداول تأتي من التعدين. يتم التداول الآلي من قبل بعض ملك لغة البرمجة. السرعة والمتانة هي النقاط الرئيسية هنا: تاجر الإنسان لا يمكن التغلب على برنامج الكمبيوتر فيما يتعلق تلك الصفات. ويمكن أن يكون هفت (تجارة عالية التردد) والبرمجة على مستوى منخفض (كما C) أو التداول على المدى الطويل والبرمجة عالية المستوى (كما جافا). ميكس خوارزمية التداول مع البيانات التعدين خلط البيانات التعدين في التداول الخوارزمية هو المهم. الشيء الأكثر أهمية هو البيانات. وهناك مبدأ بسيط ينص على أنه إذا كانت البيانات الخاصة بك ليست جيدة بما فيه الكفاية، والنماذج الخاصة بك لن تكون جيدة بما فيه الكفاية (جيغو). هو كل شيء عن خلق نموذج، تنفيذه واختباره (كما هو الحال دائما). حاليا هذا التدفق هو في الغالب اليدوي. برامج استخراج البيانات هناك العديد من الخيارات مفتوحة المصدر البرمجيات في مجال التعدين البيانات. ويكا هو إطار استخراج البيانات نشأت في جامعة وايكاتو، هاميلتون، نيوزيلندا. يتم كتابة ويكا في جافا ولها أبي كبيرة. أيضا لديك تطبيقات لمعظم خوارزميات تعلم آلة معروفة. خليط من الأدوات الجيدة أمر حيوي. هناك العديد من نماذج التداول الممكنة. إغراء عملة هو نظام التداول غبي ولكن نظام التداول. نحن بحاجة إلى استخراج البيانات للعثور على الذهب. أدوات جيدة من السهل الحصول على حظا سعيدا جدا مع التعدين. إذا كنت تبحث عن مزيد من المعلومات حول التداول فكس العلمية الخطوة التالية هي استكشاف أدوات التعدين البيانات والبيانات التاريخية. زيارة ألغونيل لمزيد من التفاصيل. يمكنك أن تجد لنا على تويتر. فيس بوك. جوجل. ينكدين وورد..FX استخراج البيانات مع أباتشي سبارك البيانات فكس التعدين مع اباتشي سبارك مقدمة دعونا نقدم تجربتنا مع ضخمة حاليا التعدين البيانات باستخدام العديد من التقنيات مفتوحة المصدر على دفعة أسبوعية من 1TB البيانات التاريخية على مدى السنوات ال 10 الماضية مع 400 الميزات. وسوف نقدم التدفق القديم والتحسينات التي أدخلت باستخدام أباتشي سبارك و S3. المشكلة المشكلة التي كنا نتعامل معها هي عملية إيتل دفعة أسبوعية لنماذج التدريب الخلفية. نقوم بتدريب نماذج التصنيف واستخدامها في التداول في الوقت الحقيقي لتصنيف الاتجاه وإدخال الموقف. يتم تنفيذ هذه العملية في نهاية أسبوع التداول، ولكن عندما الأسواق تذهب مجنون، ونحن إعادة تشغيل التدريب للحصول على صنع القرار الجديد. لقد تم استخدام ويكا (وايكاتو البيئة لتحليل المعرفة) كمصدر رئيسي لخوارزميات التعلم الآلي وتعدين البيانات. ويكا لديه كل ما تريد: مرشحات، المصنفات والفرق ومحددات ميزة تحت أبي جافا. نبدأ مع تطبيق جافا بسيط لتصفية ونظيفة وتحويل وتدريب نماذج التصنيف. المشكلة هي أن التطبيق يعمل على وحدة المعالجة المركزية واحدة و ويكا لم يتم تصميمها لاستخدامها في بيئات متعددة الخيوط. معالجة 1 تيرابايت من البيانات التاريخية مع متوسط حجم البيانات من 500MB كل أسبوع يؤدي إلى التطبيقات التي تعمل لعدة أيام، وأحيانا حتى بناء نماذج قبل انتهاء أسبوع التداول. دفعة حاليا إيتل وتدفق محرك التداول عبر الإنترنت الحل قررنا دمج سبارك أباتشي لهذه المهمة. وعلاوة على ذلك، بدلا من استخدام الأقراص الصلبة انتقلنا إلى S3 من أجل تجنب قيود التخزين. سبارك هو محرك الحوسبة الموزعة على رأس الخريطة الكلاسيكية للحد من التكنولوجيا. فإنه يحسن وقت التشغيل من خلال الاستفادة من حسابات الذاكرة مع وحدات حسابية صغيرة تسمى المهام. هيكل البيانات الرئيسية سباركس هو ردد (مجموعة البيانات الموزعة مرونة) الذي يسمح التقسيم عبر عقد نظام المجموعة متعددة وتنفيذ المهام المنفصلة مع مشغلي الذرية. مرة واحدة الحسابات الخاصة بك مستقلة، يمكنك الاستفادة من السلطة الكاملة من العنقود الخاص بك عن طريق معالجة البيانات في وقت واحد. أباتشي سبارك يوفر سريعة وظيفة التعلم آلة من قبل مكتبة إضافية تسمى ملليب. توفر المكتبة التشفير، المصنفات والفرق. ومع ذلك، يمكننا الحصول على مزيد من المرونة باستخدام ويكا في حالة الاستخدام لدينا. النتائج لقد تم التداول مع 6 فترات الرسم البياني: M5، M15، M30، H1، H4 و D1. وهكذا قمنا بتشغيل دفعة عمليات استخراج البيانات لكل فترة. كان وقت تشغيل تطبيق جافا بسيط يتراوح من 1 ساعة إلى 22 ساعة على الأساسية i5 الأساسية مع ذاكرة 12GB. لقد تم تشغيل وظيفة سبارك على 32 النوى زيون مع ذاكرة 60GB وتم تخفيض وقت التشغيل لتتراوح من 10 دقيقة إلى 2 ساعة. هذا هو تحسنا كبيرا. تحقق من الروابط التالية لمزيد من المعلومات:
No comments:
Post a Comment