prise de notes vendredi 9 novembres 2018

This commit is contained in:
Matt Marcha 2018-11-11 11:09:41 +01:00
parent ddbd717b5e
commit b1e96818e2
6 changed files with 246 additions and 1 deletions

View file

@ -0,0 +1,120 @@
# Intro
On va bosser sur la big data, Python, Hadoop, Spark
Objectif principal: améliorer les performances.
# Big Data
## Réviser Big data
Les données sont représentées comme un réseau : connexions entre points.
On peut avoir une liste de clients, il n'y a pas de relations entre eux. Mais on peut les foutre sur un graphique et, tirer de l'information par exemple à partir de l'espace entre le spoints.
On a donc un réseau à comprendre et dont on doit tirer de l'information. Exemple de google pagerank : chaque node est un website, et il y a des leins entre les sites > réseau. Un site avec eaucoup de liens vers lui sera plus important qu'un avec moins.
## 1.2 - Modélisation des réseaux
$$
C_T = ( V, E)
$$
Où V est un jeu de noeuds et E un jeu de relations
On modélise ls noeuds et les relations comme sur le PDF
Ça peut être dirigé ou non : dirigé on a un sens dans le réseau, c'est le cas du PageRank. On peut aussi avoir du poids sur les réseaux (graphe pondéré)
Réseau est un terme technique, grpah un terme pratique pour représenter la même chose
On réprésente V = {a, b, c, d, e} et E = {ab, bd, bc, cd}
d la distribution des degrès des noeuds. d : {1,2, 2,1,2} .
d(b) = somme du poids total des relations
$d^+(b) =$ nombre de relation sortantes de b (=2)
$d^-(b) =$ nombre de relations entrantes vers b (=1)
Composants connectés : Si on peut aller de a vers b, alors a et b appartiennent au même composant connecté.
Composants fortmeent connectés: depuis n'importe quel point on peut aller vers un autre. Toutes les directions existent.
Entre deux SCC, un noeud/SCC vers lequel un SCC de référence se dirige est un outcompoment. À l'inverse, si il se dirige vers le SCC de référence c'est un in-component
À partir des graphes on génères des matrices (voir pdf), on peut compter le nombre de connexions entre les points et tout et tout. Dans un truc non dirigé, M[a,b] = M[b,a]. Si on a une relation M(a,b) = 1, sinon 0. Dans un graph pondéré, M[a,b] = le poids de la relation.
cout : n²
List des relations : n*degré moyen (a peu égal à log(n))
Si on a pas le réseau (donc la totalité des données), on va générer un rseau artificel, similaire au réseau réel. Trois méthodes communes qu'on va aborder rapidement.
On connait l nombre de noeuds (1000), pas toutes les relations. On peut étalir le réseua à partir de la probbilité d'avoir une relation entre un noeud et un autre. p.e, haque neoud a environ 20 connexion.
$$
degre_a \approx p*n = \frac{20}{1000}*1000 = 20
$$
P : probabilité
$$
P(ab\ is \ an \ edge) \approx Bern(p) \\
P(degre\ of\ a) \approx Binom(p*n) \approx poisson\ law
$$
Le fait que la plupart ds noeuds aient un degrés proche de p*n n'est pas correct dnas la réalité. Ces réseaux ne sont donc pas corrects dans la réalité, mais utiles.
### Réseaux sans échelle
n : nombre de noeuds
$\lambda$ : power parameter ($2 \leqslant \lambda \leqslant 3$)
$$
\#edge = \sum_adegre(a) \\
= \sum i*\frac{n(\lambda-1)}{\lambda^{i+1}}
$$
### Réseaux petit monde
Les noeuds ne s'atteingnant pas directemet, mais sont à une très faible distanc les uns des autres (genre moins de 6 étapes pour aller de a vers b)
## Analyse des modèles : Google page Rank
pbique du spam de mot clef contournée grace au systèm de pagerank qui donne importanc eà la page, indépedamment du nombre du mots-clefs.
L'importance du site et donc la probabilité qu'on veuille aller sur celui là se calcule à partir d'une matrice. De cette matrice, on divise toutes les valeurs 1 de sorte à ce que chaque colonne fasse un total de 1.
| | a | b | c | d | e |
| ---- | ---- | ---- | ---- | ---- | ---- |
| a | 0 | 1 | 1 | 0 | 0 |
| b | 0 | 0 | 0 | 1 | 0 |
| c | 1 | 1 | 0 | 0 | 0 |
| d | 0 | 0 | 0 | 0 | 1 |
| e | 0 | 0 | 0 | 1 | 0 |
devient
| | a | b | c | d | e |
| ---- | ---- | ------------- | ---- | ------------- | ---- |
| a | 0 | $\frac{1}{2}$ | 1 | 0 | 0 |
| b | 0 | 0 | 0 | $\frac{1}{2}$ | 0 |
| c | 1 | $\frac{1}{2}$ | 0 | 0 | 0 |
| d | 0 | 0 | 0 | 0 | 1 |
| e | 0 | 0 | 0 | $\frac{1}{2}$ | 0 |
on obtient une matrice conditionnelle. Chaque ligne est 1/5, on fait la somme en fraction de la ligne et on a la matrice. La somme des éléments d ela matrice donne 1.
Une affaire de V ensuite. $V_0$ est la probabilité d'accéder à un point depuis n'import quel point de départ.
## TP: Python pour Data Science
Installer anaconda
Copier la database socceret la metttre dans le dossier "python"
finir TP O et 1

Binary file not shown.

View file

@ -424,7 +424,7 @@ Optimiser le process : plus de réactivité par rapport aux besoins métier.
### 5
Rôlesmarqué dans la diapo (p20pdf) :
Rôles marqués dans la diapo (p20pdf) :
- Conseil
- Contrôle
@ -435,3 +435,128 @@ Rôlesmarqué dans la diapo (p20pdf) :
Dit en fin de cours mais mon esprit était déjà au bar. Et mon ordi rangé.
---
*09/11/18*
Dans deux semaine, truc à faire à rendre pour première note.
Deuxième note la smeaine suivante, un bpmn à suivre et à montrer.
## AXA : urbanisme et gouvernance
### Contexte
#### 1
intégrer l'urbanisme des SI dans la gouvernance sur le long terme.
- réglementaire (AXA est une multinationale, elle va dépendre de son emplacement, et donc des règles locales en fonction, de là où elle est implantée) => contexte de conformité règlementaire (rappel : norme BAL2 la dernière fois, ici on dépend de l'emplacement)
- transverse (peu importe ce qu'elle fait : elle gère tout ce qui est risque, peu importe le cøeur de métier.)
-
-
- couts
- unité
- transnationale
- infrastructures
- applications
- contractualisés
- service (SLA = contrat de service)
- processus
- changement
- conception
- oeuvre
- ouvrage
- vers le holding
- cycle de vie
DONC l'objectif stratégique d'AXA actuellement est de réduire les coûts. Ils font des développment spécifiques par continent, c'est cher, ils font donc AXA tech pour mettre à plat lsprocess, normaliser tout le porcess, standardiser, et ajouter la couche règlementaire nécessiare par continent.
Pour urba des SI : fusion, rachat, mise à niveau.
### Grandes phases d'urbanisme
#### 2
4 axes :
1. fusion de systèmes d'info
2. entrepôt de données pour données clietns et valorisation gestion relation client
3. création d'un département dédié à l'urba SI pour réduction couts
4. aligner urba sur stratégie métiers (création de valeur)
---
Je sias pas pouruqoi elle dit ça mais :
1. Cartographie existant
2. Carto de la cible (process)
3. Lister les opportunités et les solutions qui existent 'prioriser les projets'
4. proposer les projets et un plan de migration
### Conduite d'urbanisme
#### 3
Intérêt pour le département archi, c'est qu'il représente le pilier du process. Il aura donc un gestion de projet strégique : un pilier stratégiue pour maîtriuser tous les process, les mettre à plat et les étudier (on fait une arhci existant et cible). Ce départmeent en plus d'être l'actuer pilier ce qui va donner une influence stratégique, une maitrise des process et permet de prendre les décisions. C'est c départment quiv a prendre les décisions t déterminer solutions adéquates. Il devient le centre du process. Il deviet donc cteur stratéiguqe pour la réalisation du projet.
#### 4
Ils sont à leur 5e projet. Ils maitrisent toutes les phases de process d'urba, ils auront plus de crédibilité financièr, pour la diretion notamment, il y aura plus de budget.
#### 5
Car agile et cohérent. on va trouver process cohérent, et du point de vue techniqu ça va être agile, donc s'adapter aux besoins de l'entreprise. C'est donc ces deux termes à mettre en avant auprs de ladorection pour la convaincrE.
## AXA : Application Portfolio Management
Outiller la gouvernance du parc applicatif
### 1
- Enjeux métier :
- Coût : maîtrise des risques, exploration et infra,
-
- Adéquation : adéquation fonctionnelle, projet
### 2, 3
La carte permet de prioriser les SA. On laisse par exemple de côté le SA3. Il faut améliorer le SA5
### 4, 5
Par rapport à la couche infra et les enjeux métiers, on voit si l'app tourne avec un bon support techinque derrière.
le SA5 a un problème : il est pas hyper pérenne. c'est comme ça qu'on peut l'améliorer.
arpès directment on comence architexture process métier.
## Conclusion
### 6
- nord : marché et client
- est : organisation efficace
- sud : résultat et profit
- ouest : personne mobilisées
### 7
- nord : améliorer l'accès aux informations et produit et donc alémliorer l'interface homme/macxhine. Avantage concurrentiel et valoriser le client.
tableaux de bord pour évaluer le marché. orienter la stratégie de l'entreprise.
- est : valoriser les outils de communication . chaque actuer peut donner son avis.
documentation
- sud : les 4 couches répondent à la strtégie de l'entreprise. Le SI doit être évolutif et répondr eà la strat qui change tjrs.
On rend le SI homofène et on harmonise
- ouest : plans de communication, réunion
responsabiliser chaque acteur
actuer doit pas seuleemnt être princiapl et rendre cohérente toute la communication et le mouvement doit être global, en réseau.