Want to make creations as awesome as this one?

More creations to inspire you

Transcript

Cloud Healthcare Unit

  • 1

1

Index

Réferentiel de données

Modèle Physique et optimisation

Conclusion

Résultats et Storytelling

02

03

04

05

Vos besoins

01

2

Présentation

Notre service a été soliicité afin de mettre en place un entrepot de données qui permettra au groupe CHU d'exploiter la quantité énorme de données générée par les systèmes de gestion de soins

Le potentiel énorme associé aux données médicales a conduit le secteur de la santé à une transformation importante et rapide

3

Vos besoins utilisateurs

Taux de consultation des patients dans un établissements X sur une période de temps Y

Taux de consultation des patients par rapport à un diagnostic X sur une période de temps Y

Taux d'hospitalisation des patients dans un établissement X dans une période donnée Y

Nombre de décès par période, par établissement

4

Réferentiel de données

Modélisation des données

Développement des jobs d'alimentation

Analyse des données

5

Modélisation des données

Source de données

Postgre
CSV

ETL

Talend

DataLake

Hdfs

DataWarehouse

Hive

6

Visualisation

Power Bi

Table de faits CHU

Médecin

ETS

Localisation

Temps

Diagnostic

Patient

Modélisation des données

7

Développement des jobs d'alimentation

9 Jobs d'alimentation

Un Job regroupe un ensemble de tâches et permet d'exécuter des processus de flux de données.

8

Développement des jobs d'alimentation

9

Développement des jobs d'alimentation

10

Modèle physique et optimisation

Script génerant les données dans nos tables

Partionnement et bucketing

11

Script génerant les données dans nos tables

8 scripts Hive QL permettant de génerer les données dans nos tables

8 tables de données externes dans Hive


CREATE EXTERNAL TABLE IF NOT EXISTS medecin

(
id int, code_medecin string, nom STRING, prenom STRING, profession string, specialite string
)

COMMENT 'liste des medecins'

ROW FORMAT DELIMITED

FIELDS TERMINATED BY ';'

STORED AS TEXTFILE

LOCATION '/user/hive/medecin';

12

Partionnement et bucketing

6 Partitions permettant de rendre nos requetes plus performante

1 Buckets permettant d'éviter le sur partitionnement

Vitesse d'éxécution 5 s

100%

Exécution requète avec Partition et Bucket

Execution requète sans Partition et Bucket

Vitesse d'éxécution 2 min

50%

13

Résultat et Storytelling

14

Conclusion

15

Extraction

Talend

Transformation

Talend - HDFS

Hive

Load

Visualisation

Power BI

05

Write a title here

You can write a subtitle here

You can write a subtitle here