Apache Spark: Jak napisać prosty mechanizm AI porównywania tekstów?

Z grubsza ogarniesz to w: 10 min

Machine Learning w Sparku? Jak najbardziej! Chcę dzisiaj pokazać jak zbudować prosty do zakodowania, ale solidny w efektach mechanizm wyszukiwania podobnych tekstów w Sparku. Chodzi tu o znalezienie tekstów "podobnych" niekoniecznie w prostym tego słowa znaczeniu. Całość jest zrobiona w Apache Spark, co niektórych może dziwić. Dzisiaj chcę się podzielić tym jak dokładnie zbudować taki mechanizm. Kubki w dłoń i lecimy zanurzyć się w kodzie!

Założenia

Jeśli chodzi o założenia, które dotyczą Ciebie – zakładam że umiesz tu Scalę oraz Sparka . . .

Ta zawartość jest przeznaczona tylko dla uczestników opłacających abonament. Wejdź w ikonę swojego użytkownika w prawym górnym rogu, a następnie "Platności i Konto".