scala | yenigün

Archive for the 'scala' category

Spark ML’e Kategori Değişkenlerini Belirtme

Mar 08 2017 Published by yalcin under machine learning, scala, software development

Spark ML’de sınıflandırma algoritmalarını kullanırken iki tip değişkeniniz vardır: Sürekli Değişkenler ve Kategori Değişkenleri. Sürekli değişkenler, değerin kendisinin ve değişimlerinin (artma veya azalma) sizin için önemli olduğu değişkenlerdir. Kategori değişkenleri ise sınıfsal değişkenlerdir. (maksimum x farklı değer alabilirler.)

Algoritmanızı geliştirirken sürekli değişkenler ve kategori değişkenlerini birbirinden ayırmanız gerekmektedir. Bunun için Spark ML’de VectorIndexer sınıfı kullanılır.

İlk olarak kategori değişkenlerinizi bir Vector’de tutarsınız:

  val categoricalFeatureAssembler = new VectorAssembler().setInputCols(
    Array(
      "feature1",
      "feature2",
      "feature3",
    )).setOutputCol("categoricalFeatures")

val categoricalFeatureAssembler = new VectorAssembler().setInputCols(

Array(

"feature1",

"feature2",

"feature3",

)).setOutputCol("categoricalFeatures")

Ardından maksimum alacakları değer çeşitliliğine göre VectorIndexer sınıfını kullanarak bu değerlerinizi index’ler ve maksimum değer sayısını Indexer’a parametre olarak verebilirsiniz.

val featureIndexer = new VectorIndexer()
.setInputCol("categoricalFeatures")
.setOutputCol("indexedFeatures")
.setMaxCategories(5)

val featureIndexer = new VectorIndexer()

.setInputCol("categoricalFeatures")

.setOutputCol("indexedFeatures")

.setMaxCategories(5)

Bu alanlar artık kategori değerleri olarak index’lenmiştir ve Spark Pipeline’ına ekleyebilirsiniz:

  val model = new Pipeline().setStages(Array(
    categoricalAssembler,
    featureIndexer,
    myClassifier))
    .fit(myDataFrame)

val model = new Pipeline().setStages(Array(

categoricalAssembler,

featureIndexer,

myClassifier))

.fit(myDataFrame)

Referans:

https://spark.apache.org/docs/latest/ml-features.html#vectorindexer

Comments are off for this post

PredictionIO kullanırken Spark’a Parametre Geçmek

Oct 25 2016 Published by yalcin under machine learning, scala

Apache PredictionIO bir çok şeyi kolaylaştıran açık kaynak kodlu bir “Machine Learning” sunucusudur. Alt yapısında SparkML ve Spark kullanır. PredictionIO ile modeli eğitirken veya test ederken Spark’a parametre geçmek için — işaretini ilgili parametrelerin başına aşağıdaki gibi koymak yeterlidir. spark-submit’e verilen değerler parametre olarak geçer:

pio train -- --driver-memory 8G --executor-memory 8G
pio eval org.template.classification.AccuracyEvaluation \
    org.template.classification.EngineParamsList -- --driver-memory 8G --executor-memory 8G

pio train -- --driver-memory 8G --executor-memory 8G

pio eval org.template.classification.AccuracyEvaluation \

org.template.classification.EngineParamsList -- --driver-memory 8G --executor-memory 8G

Örnek:

yalcin $ pio train -- --driver-memory 8G --executor-memory 8G

[INFO] [Console$] Using existing engine manifest JSON at /Users/yalcin/dev/test/manifest.json

[INFO] [Runner$] Submission command: /Users/yalcin/dev/spark-2.0.0-bin-hadoop2.7/bin/spark-submit --driver-memory 8G --executor-memory 8G

yalcin $ pio train -- --driver-memory 8G --executor-memory 8G

[INFO] [Console$] Using existing engine manifest JSON at /Users/yalcin/dev/test/manifest.json

[INFO] [Runner$] Submission command: /Users/yalcin/dev/spark-2.0.0-bin-hadoop2.7/bin/spark-submit --driver-memory 8G --executor-memory 8G

Comments are off for this post

SBT Offline Build

Oct 19 2016 Published by yalcin under scala, software development

Scala ile kod geliştiriyorsanız kodu derlemek ve bağımlılık yönetimi için SBT kullanmanız gerekiyor. Yeni bir bağımlılığa ihtiyacınız yoksa ve internete bağlanmadan tekrar kodunuzu derlemek istiyorsanız build.sbt dosyanıza aşağıdaki parametreleri eklemeniz yeterli olacaktır.

skip in update := true
offline := true

1 2	skip in update := true offline := true

Comments are off for this post

Scala Test ile Behavior-Driven-Development

Nov 11 2015 Published by yalcin under bdd, java, scala, software development

ScalaTest (http://www.scalatest.org) Scala veya Java kodlarını test etmek için kullanılan TDD ve BDD (http://dannorth.net/introducing-bdd/) kütüphanesidir. Bu alandaki alternatiflerine (JBehave & JUnit, Groovy Spock..vs.) göre daha esnektir zira hem Java’daki tüm test kütüphaneleriyle (JUnit, TestNG, Ant, Maven, sbt, ScalaCheck, JMock, EasyMock, Mockito, ScalaMock, Selenium, Eclipse, NetBeans, IntelliJ) entegre çalışabilir hem de istediğiniz isimlendirme standardını kullanabilirsiniz. (Flat Spec, Word Spec..vs.)

ScalaTest’i bir java projesinde kullanabilmek için:

Scala kurulumu yapılır: http://www.scala-lang.org/download/install.html
Bağımlılıklar eklenir. Maven kullanılıyorsa aşağıdaki bağımlılık projeye eklenir:

<dependency>
  <groupId>org.scalatest</groupId>
  <artifactId>scalatest_2.11</artifactId>
  <version>2.2.4</version>
  <scope>test</scope>
</dependency>

<groupId>org.scalatest</groupId>

<artifactId>scalatest_2.11</artifactId>

</dependency>

IntelliJ IDEA kullanılıyorsa Scala plugin kurulur: http://www.scalatest.org/user_guide/using_scalatest_with_intellij
Maven ile testleri çalıştırmak için iki alternatif vardır.
- Birincisi Maven ScalaTest plugin’ini kurmak:
  - http://www.scalatest.org/user_guide/using_the_scalatest_maven_plugin
- İkincisi ise testlerin üzerine aşağıdaki ifadeyi eklemek. Eğer hem JUnit hem de ScalaTest kullanmak istiyorsak bu yöntem ikisini birlikte çalıştırmaya izin verir.
  
  @RunWith(classOf[JUnitRunner])
  
  1
  
  @RunWith(classOf[JUnitRunner])
Son olarak Scala ile yazdığımız test kodlarını derleyebilmek için maven scala plugin’i kurmamız gerekiyor. Bunun için aşağıdaki plugin’i projenizdeki pom.xml dosyasına eklemeniz gerekiyor:

                <plugin>
                    <groupId>net.alchim31.maven</groupId>
                    <artifactId>scala-maven-plugin</artifactId>
                    <version>3.2.0</version>
                    <executions>
                        <execution>
                            <id>scala-test-compile</id>
                            <phase>process-test-resources</phase>
                            <goals>
                                <goal>add-source</goal>
                                <goal>testCompile</goal>
                            </goals>
                        </execution>
                    </executions>
                    <configuration>
                        <args>
                            <arg>-deprecation</arg>
                            <arg>-feature</arg>
                        </args>
                    </configuration>
                </plugin>

<groupId>net.alchim31.maven</groupId>

<artifactId>scala-maven-plugin</artifactId>

<id>scala-test-compile</id>

<phase>process-test-resources</phase>

<goals>

<goal>add-source</goal>

<goal>testCompile</goal>

</goals>

</execution>

</executions>

<args>

<arg>-deprecation</arg>

<arg>-feature</arg>

</args>

</configuration>

</plugin>

Artık ScalaTest yazmaya başlayabiliriz. İlk olarak kullanmak istediğimiz temayı (Spec) belirlememiz gerekiyor. (FlatSpec, WordSpec, FeatureSpec..vs.) İç içe senaryolara daha kullanışlı test yazmak için WordSpec, kullanıcı kabul testlerini (acceptance test) yazmak için ise FeatureSpec tercih edilir.

Ardından eğer Mock yapacaksak bir Mock kütüphanesi seçilir ve pom.xml’e bağımlılık eklenir. (Mockito, ScalaMock, JMock, PowerMock..vs.)

Artık ScalaTest ile test geliştirmeye başlayabiliriz. WordSpec örneği:

import org.scalatest.WordSpec

class SetSpec extends WordSpec {

  "A Set" when {
    "empty" should {
      "have size 0" in {
        assert(Set.empty.size == 0)
      }

      "produce NoSuchElementException when head is invoked" in {
        intercept[NoSuchElementException] {
          Set.empty.head
        }
      }
    }
  }
}

import org.scalatest.WordSpec

class SetSpec extends WordSpec {

"A Set" when {

"empty" should {

"have size 0" in {

assert(Set.empty.size == 0)

}

"produce NoSuchElementException when head is invoked" in {

intercept[NoSuchElementException] {

Set.empty.head

}

FlatSpec örneği:

import org.scalatest.FlatSpec

class SetSpec extends FlatSpec {

  "An empty Set" should "have size 0" in {
    assert(Set.empty.size == 0)
  }

  it should "produce NoSuchElementException when head is invoked" in {
    intercept[NoSuchElementException] {
      Set.empty.head
    }
  }
}

import org.scalatest.FlatSpec

class SetSpec extends FlatSpec {

"An empty Set" should "have size 0" in {

assert(Set.empty.size == 0)

}

it should "produce NoSuchElementException when head is invoked" in {

intercept[NoSuchElementException] {

Set.empty.head

}

Detaylı bilgi için:

http://www.scalatest.org

https://github.com/s4nk/scalatest-maven-template

Comments are off for this post

"On ne voit bien qu'avec le cœur. L'essentiel est invisible pour les yeux." Le Petit Prince
Search
Recent Posts
Categories
- book
- fraud
- machine learning
- music
  - concert
- other
- software development
  - agile
  - bdd
  - java
  - mobile
  - python
  - scala
  - security
- wireless sensor networks
Tag Cloud

agile android antisamy antivirüs c chat dart design patterns dosya tarama framework google gözlemci h2o istanbul devlet klasik türk müziği korosu jabber java java 8 java api jconsole jmx machine learning makale ml observer owasp antisamy paper python restful web services ruby on rails scala scrum seam security smack api spark spring symantec scan engine sûzidil tasarım desenleri unix upload user story uyms web xmpp
Monthly
Calendar

March 2023

M T W T F S S

1 2 3 4 5

6 7 8 9 10 11 12

13 14 15 16 17 18 19

20 21 22 23 24 25 26

27 28 29 30 31

« Oct

Archive for the 'scala' category

Spark ML’e Kategori Değişkenlerini Belirtme

PredictionIO kullanırken Spark’a Parametre Geçmek

SBT Offline Build

Scala Test ile Behavior-Driven-Development

Search

Recent Posts

Categories

Tag Cloud

Monthly

Calendar