Apache PredictionIO bir çok şeyi kolaylaştıran açık kaynak kodlu bir “Machine Learning” sunucusudur. Alt yapısında SparkML ve Spark kullanır. PredictionIO ile modeli eğitirken veya test ederken Spark’a parametre geçmek için — işaretini ilgili parametrelerin başına aşağıdaki gibi koymak yeterlidir. spark-submit’e verilen değerler parametre olarak geçer:
|
1 2 3 |
pio train -- --driver-memory 8G --executor-memory 8G pio eval org.template.classification.AccuracyEvaluation \ org.template.classification.EngineParamsList -- --driver-memory 8G --executor-memory 8G |
Örnek:
|
1 2 3 4 5 |
yalcin $ pio train -- --driver-memory 8G --executor-memory 8G [INFO] [Console$] Using existing engine manifest JSON at /Users/yalcin/dev/test/manifest.json [INFO] [Runner$] Submission command: /Users/yalcin/dev/spark-2.0.0-bin-hadoop2.7/bin/spark-submit --driver-memory 8G --executor-memory 8G |