Файлы джобов проекта Data Lake для соцсети

Файлы джобов проекта Data Lake для соцсети. Каждая джоба связана с витриной данных проекта:

• Джоба users_cities.py — первая витрина, представляющая информацию о действиях в разрезе пользователей.
• Джоба events_cities.py — вторая витрина, представляющая пользователей в разрезе зон.
• Джоба recommended_friends.py — третья витрина для рекомендаций друзьям.

Файл users_cities.py

---

# Джоба для создания первой витрины в разрезе пользователей
# на базе класса UsersCities



import sys
from class_library import UsersCities



def main():
    
    #n = sys.argv[1]
    
    uc = UsersCities()
    
    uc.users_cities()
    #uc.users_cities_result.show(5)
    uc.users_cities_result.write \
        .format('parquet') \
        .save('/user/microsegment/analytics/users_cities_result')



if __name__ == '__main__':
    main()

---

Файл events_cities.py

---

# Джоба для создания второй витрины (действия пользователей в разрезе зон)
# на базе класса EventsCities



import sys
from class_library import EventsCities



def main():
    
    #n = sys.argv[1]
    
    uc = EventsCities()
    
    uc.events_cities()
    uc.events_cities_result.show(5)
    uc.events_cities_result.write \
        .format('parquet') \
        .save('/user/microsegment/analytics/events_cities_result')
    


if __name__ == '__main__':
    main()

---

Файл recommended_friends.py

---

# Джоба для витрины рекомендаций друзей
# на базе класса RecommendedFriends



import sys
from class_library import RecommendedFriends



def main():
    
    #n = sys.argv[1]
    
    uc = RecommendedFriends()
    
    uc.recommended_friends()
    uc.recommended_friends_result.show(5)
    uc.recommended_friends_result.write \
        .format('parquet') \
        .save('/user/microsegment/analytics/recommended_friends_result')
    


if __name__ == '__main__':
    main()

---