Archives FluxBB.fr

Mpok

Néo Admin

Ménage sur Fluxbb.fr

En préparation de la future 1.3 (qui sortira quand elle sera prête, ok, j'ai répondu aux questions sur ce sujet..;)), il y a un certain ménage à faire sur la BDD de fluxbb.fr
(histoire que la migration se passe bien).

Rassurez-vous, il ne s'agit pas d'un point crucial, et a priori la quasi-totalité de ceux qui lisent ce message ne devraient pas être impactés (en tout cas lors des premières étapes).

Il s'agit juste d'avoir une BDD "propre" pour la migration, ce qui n'est pas le cas aujourd'hui (oui, "honte à nous", "bash me", "cursed", et tout ce que vous voudrez.. ).

La première étape consistera à supprimer certains "très vieux" utilisateurs, dont les messages ont déjà été effacés par le précédent "ménage" de 2006, et qui ne se sont pas reconnectés depuis (requête facile à faire.. et qui concerne mine de rien plusieurs centaines de "users").
La deuxième étape étendra cette suppression aux utilisateurs "UNVERIFIED" depuis plus de 3 mois, ainsi qu'à ceux ne s'étant plus connecté depuis au moins 2 ans.
La troisième étape concernera les discussions et/ou messages "orphelins" (messages sans discussion, discussion sans message).

Ces 3 premières étapes auront lieu en fin de semaine.

Les étapes suivantes (pas avant début janvier) pourront concerner un éventuel ménage dans les discussions elles-mêmes, mais c'est encore en suspens. En effet, contrairement aux étapes précédentes, une décision "arbitraire" (fonction de la date ou du nombre de réponse, ou d'autres facteurs) n'est pas facile, ni même forcément souhaitable. On verra donc, soit je regarderai individuellement chaque discussion (improbable), soit on ne fera pas de ménage dans les discussions..
.. soit vous nous proposez une méthode "algorithmique" qui vous convienne (tous) et on avisera.

PS : pour rester dans le sujet "nettoyage", je mettrai à disposition d'ici Noël une version 2.0 du plugin "Forum cleanup" avec pas mal d'améliorations...

Firekans

Membre

Re : Ménage sur Fluxbb.fr

Mpok en mode Nettoyage

EDIT: en plsu c'est plus rapide je trouve^^

Dernière modification par Firekans (10-12-2008 21:33:48)

---

http://www.community-geek.com/

LeChapitre

Membre

Re : Ménage sur Fluxbb.fr

Hummmm...

Bon va faloir que je reviens plus souvent sur ce forum si je ne veux pas être viré

---

root
Forum

Hm47

Membre

Re : Ménage sur Fluxbb.fr

Ça fait pas de mal, même si on ne peut pas dire que ça soit "le grand ménage de printemps".

TLP

Membre

Re : Ménage sur Fluxbb.fr

Est-ce qu'un courriel sera envoyé à tous les membres pour les informer de cette décision ?

Autre question, est-ce conseillé de faire de même pour nos forums afin de préparer l'arrivée de la version 1.3 ?

Ishido

Membre

Re : Ménage sur Fluxbb.fr

Est-ce qu'un courriel sera envoyé à tous les membres pour les informer de cette décision ?

Autre question, est-ce conseillé de faire de même pour nos forums afin de préparer l'arrivée de la version 1.3 ?

Ca dépend pour beaucoup de la taille de ton forum (nombre de messages, d'utilisateurs, sondages éventels...)

---

Chez Wam
Message tapé en Bépo avec un TypeMatrix 2030 USB

abdellah

Membre

Re : Ménage sur Fluxbb.fr

Bonjour tous le monde,

je suis curieux de savoir comment vous-allez vous y prendre! c'est avec un script php que vous faite ça? si oui est-ce qu'on peut l'avoir pour faire pareil avec nos forums?

kankan_1

Membre

Re : Ménage sur Fluxbb.fr

Faire un grand ménage ?
Personnellement, je ne suis pas sûr que ce soit une bonne idée de supprimer "les membres qui ne se connectent plus".
Quand je m'inscrit sur un site, c'est pour y avoir accès par la suite. Parfois, j'ai eu la mauvaise surprise (notamment sur PunRes.Org) de voir mon compte supprimé car j'étais jugé inactif, alors que sur le coup j'en avais besoin. En général, les utilisateurs n'apprécient vraiment pas...

M@x

Membre

Re : Ménage sur Fluxbb.fr

Envoyer un mail avec un lien de non-suppression peut-être une bonne solution. Si le membre ne suit pas le lien, son forum est supprimé 15 jours après par exemple.

---

...

Ti pierre

Membre

Re : Ménage sur Fluxbb.fr

Bonjour tous le monde,

je suis curieux de savoir comment vous-allez vous y prendre! c'est avec un script php que vous faite ça? si oui est-ce qu'on peut l'avoir pour faire pareil avec nos forums?

Oui c'est avec une mod que Mpok vas faire ceci, elle permet entre autres de :

- Trier les membres ayant 0 messages.
- Ne s'étant pas connectés depuis X temps.

Et je suppose d'autres options bien utiles.

Comme cité plu haut cette mod sera mise à disposition de tous bientôt.

Mpok

Néo Admin

Re : Ménage sur Fluxbb.fr

Quelques réponses :

- courrier pour avertir : non, l'avertissement c'était cette annonce...
@kankan_1 : je doute vraiment que cela puisse gêner un utilisateur (mais il est possible de tomber sur quelques cas très particuliers). Tout dépend de ce que l'on appelle "inactif". Là, il s'agit quand même des utilisateurs de 2005 qui ne se sont pas connectés depuis 2006... (et en plus je vais prendre quelques précautions "manuelles" de vérification).

- faut-il le faire sur vos forums : oui et non. La "suppression" d'utilisateurs (et/ou de discusssions) N'EST PAS NECESSAIRE. On le fait ici, parce qu'il y a eu un ménage partiel en 2006 qu'il faut terminer proprement.
En revanche, ce qui SERA NECESSAIRE (mais finalement pas obligatoire), c'est de remettre à jour les compteurs "last_post", "last_post_id", etc...
Mais cela peut être fait juste avant la migration, et encore une fois ne pas le faire n'empêchera pas la migration de se faire (ce sera quand même le bon moment pour avoir une base "propre").

- scripts utilisés : il y a deux parties.
Une partie "spécifique", liée à la situation particulière de ce forum (le ménage partiel dont je parlais plus haut, les précautions à prendre, etc..). Ces petits scripts ne sont destinés qu'à être utilisés une fois et uniquement ici.
Une partie "générale", destinée à supprimer les discussions/messages orphelins et à remettre à jour les différents compteurs. C'est ce plugin, basé sur le plugin "nettoyage_de_forum" qui sera proposé dans la semaine pour tout le monde.
(@Ti pierre : les options que tu cites ne SONT PAS dans ce plugin, y'a "gestion_utilisateurs" pour cela...)

abdellah

Membre

Re : Ménage sur Fluxbb.fr

Merci beaucoup c'est intéressant.

Mpok

Néo Admin

Re : Ménage sur Fluxbb.fr

Ok...,
Premier rapport...

Fluxbb.fr a chauffé ce soir , autant en terme de requêtes que de pages vues (beaucoup de vérifications et suppressions "manuelles"..)

- phase 1 : 415 "vieux" utilisateurs (sans message) supprimés. Reliquat du ménage de 2006.
- phase 2a : 15 "unverified" supprimés (plus de 3 mois).
- phase 2b : 37 utilisateurs "2005" (dernière connexion < 01/01/2006) supprimés, entraînant la suppression de 17 discussions et 157 messages (sans compter les messages d'autres utilisateurs qui ont été supprimés avec les discussions).

- phase 2c : utilisateurs "2006" (dernière connexion < 01/01/2007), là, problème...
Cela concerne 534 utilisateurs (bon, soit..), mais surtout près de 3000 messages..
Or l'idée n'est pas de faire du "ménage à tout prix", certes ces messages et discussions sont anciens et pour la plupart dépassés, mais certaines "vieilles" discussions sont toujours actives (par exemple certaines mods).
Dans la phase précédente (2005), j'ai pu vérifier "à la main" tous les messages concernés et je les ai supprimés en connaissance de cause. Mais là, ce n'est pas jouable... 
Il me faut donc réfléchir à la manière "d'affiner" les critères de sélection afin d'automatiser suffisamment le processus tout en gardant les discussions importantes... A suivre...

D'autre part, j'ai découvert un "bug non prévu" dans la bdd : normalement, quand on supprime un user, ses messages sont réaffectés à "Invité". Mais il se trouve qu'ici, un certain bordel existait, avec des messages qui n'avaient pas été réaffectés (ou supprimés).
D'où :
- phase 2b2 : suppression des messages "non affectés" (qui étaient "dans l'espace", c'est à dire qu'ils n'apparaisaient ni dans la recherche, ni dans viewtopic, seulement dans la table posts).
- phase 2b3 : et tant qu'à faire, suppression ("propre", c'est à dire avec vérification du topic à chaque fois) des 116 messages "Invité".

Note : tant que le ménage est "en cours", quelques bugs peuvent apparaître... Des "discussions fantômes" dans les résultats de recherche, et des "pages fantômes" dans les discussions.
Désolé pour ces légers désagréments.. (a priori, uniquement sur les discussions 2005/2006, donc pas trop gênants).

Mpok

Néo Admin

Re : Ménage sur Fluxbb.fr

Deuxième rapport :

- phase 2c : la plus longue, la plus chiante...
Pour les utilisateurs (environ une centaine) avec un nombre de messages suffisants, lecture manuelle de toutes les discussions, puis suppression manuelle (avec évidemment toutes les réponses liées).
Puis, petit à petit, traitement plus automatisé lorsque le nombre de messages diminuait. Les critères de sélection étaient : le titre de la discussion (d'où l'importance d'un titre explicite, les discussions du genre "j'ai un problème" n'étaient même pas regardées), et le degré "d'activité" de la discussion (ainsi que son intérêt).
Bon, finalement, seuls 4 utilisateurs (sur 534) ont "échappé" au ménage, parce qu'ils avaient publié une discussion encore active aujourd'hui (principalement des mods ou des trucs et astuces).

Quelques "couacs" (ou "dommages collatéraux") :
- un utilisateur s'est vu effacé une vingtaine de ses messages alors qu'ils n'auraient pas dû l'être (erreur humaine).
- un style a disparu (sera re-publié grâce à Ishido).
- 4 ou 5 mods ont été effacées (mais c'était de très anciennes mods, discussions inactives depuis longtemps).

- phase 3a : 2 discussions orphelines supprimées (discussions "déplacées"), 328 messages orphelins supprimés (principalement liés à un bug dans la gestion des mods..).

- phase 3b : 197 discussions sans réponse supprimées (uniquement dans la partie "entraide").

Cela termine la partie "suppression" du ménage...
Résultats totaux :
- 997 utilisateurs supprimés (29 %).
- 878 discussions supprimés (13 %).
- 6931 messages supprimés (12 %).

M@x

Membre

Re : Ménage sur Fluxbb.fr

Qu'adviendra des messages et sujet des forum archives ? Ne serait-il pas logique de replacer les annonces dans les forums de base correspondant ?

---

...

Mpok

Néo Admin

Re : Ménage sur Fluxbb.fr

Troisième rapport :

- phase 4 : mise à jour du dernier message des discussions (34), et du nombre de réponses des discussions (222).

- phase 5 : lors de la phase 2c (cf. ci-dessus), beaucoup de temps a été perdu à cause du "déterrage de topic"..
Dans le cas d'une nouvelle version d'une mod, d'une astuce, voire d'un forum, ce "remontage" des discussions est légitime (voire nécessaire).
Mais il y a beaucoup de déterrages qui ne servent à rien (du genre répondre "moi aussi, j'aimerai avoir la solution" sur une discussion datant de 2006... ).
D'autre part, même si certaines vieilles discussions pourraient servir de référence pour certaines questions qui reviennent souvent, dans la pratique ce n'est pas le cas : un grand nombre d'utilisateurs n'utilisent la fonction Recherche qu'après avoir posé leur question (le nombre de discussions ayant comme titre "impossible de retrouver le statut des tables" ou "intégration dans mon site" est tout simplement effarant...).

Du coup, pour simplifier un ménage ultérieur (et la migration 1.3 du même coup), et pour éviter les déterrages intempestifs, une catégorie Archives a été crée.
Le forum "2005-2006" contient les discussions crées pendant ces années et inactives depuis au moins le 01/07/08.
De même le forum "2007" pour les discussions de 2007.
Et évidemment, cette catégorie est en lecture seule.
Du coup les forums "Entraide", "Annonces", "Traduction" ont subi une sérieuse cure d'amaigrissement..
(note: les forums "Mods" et "Styles" n'ont pas été touchés).

- phase 6 : mise à jour du dernier message des forums, et du nombre de discussions/messages des forums.

A suivre (ce soir) les 3 dernières étapes...
Etant donné qu'il va falloir agir sur la structure des tables (résolution d'un problème interne à fluxbb.fr) et que la reconstruction des index va prendre plusieurs heures, le site sera en maintenance cette nuit....

Mpok

Néo Admin

Re : Ménage sur Fluxbb.fr

M@x : tu parles des "sticky" ? si oui, effectivement, j'ai vu ça, je vais voir (c'est à dire les lire, parce que s'ils sont encore d'actualité, alors d'accord, sinon tant pis..).

Sinon, pour les discussions archivées en général, on verra...
Mais, je crois de plus en plus qu'on se dirige vers 2 forums séparés : 1 pour la 1.2, 1 pour la 1.3
Du coup, les archives ne seront pas migrées dans le forum 1.3.

Mpok

Néo Admin

Re : Ménage sur Fluxbb.fr

Quatrième rapport :

- phase 5bis : re-déplacement de quelques discussions épinglées dans leur forum respectif (uniquement celles qui sont encore d'actualité).

- phase 7 : mise à jour du nombre de messages des utilisateurs, finalisation du plugin de nettoyage.

- phase 8 : reconstruction des index de recherche.

- phase 9 : mise au propre de la structure des tables fluxbb.fr (problème interne).

=> MENAGE 2008 TERMINE. (:P ouf..., vivement les vacances..)

Et comme promis, vous pouvez trouver le plugin Nettoyage v2.0 dans la section Mods..

Firekans

Membre

Re : Ménage sur Fluxbb.fr

merci pour le plug

---

http://www.community-geek.com/

abdellah

Membre

Re : Ménage sur Fluxbb.fr

merci Mpok

new morning

Membre

Re : Ménage sur Fluxbb.fr

Sacré boulot ! Et bel effort de clarification !

Puis-je suggérer un "ménage" qui me semble intéressant avant passage à la 1.3 ?

J'ai en effet essayé il y a qq mois sur un forum de test (heureusement) l'outil de modif de la bdd fourni pour la migration. J'ai alors eu une drôle de surprise : mon mot de passe, qui contenait des caractères susceptibles de tracasseries lors du passage de la norme ISO à la norme UTF-8, n'était plus reconnu. Résultat : l'administrateur plus reconnu !

Bon, sur un vrai serveur on peut encore demander un nouveau mot de passe par courriel, mais en local j'étais coincé

Mais s'il y a moyen de générer automatiquement un nouveau mot de passe à tous les utilisateurs ayant des caractères accentués et autres bizarreries dans leur nom et / ou leur mot de passe, ça peut être appréciable. A moins que l'outil de migration n'ai évolué pour tenir compte de ce problème...

fanf73

Wik-wiki

Re : Ménage sur Fluxbb.fr

Il faudrait générer un nouveau mot de passe à TOUS les utilisateur : ils sont cryptés et il n'y a donc aucun moyen de savoir lesquels ont des caractères accentués, à moins de poser la question à tout le monde.

---

Nous ne faisons pas le travail à votre place mais nous prenons le temps de vous montrer le chemin. Merci de lire ce que l'on vous dit et de réfléchir avant de re-demander une explication.

new morning

Membre

Re : Ménage sur Fluxbb.fr

Il faudrait générer un nouveau mot de passe à TOUS les utilisateur : ils sont cryptés et il n'y a donc aucun moyen de savoir lesquels ont des caractères accentués, à moins de poser la question à tout le monde.

Ha bas oui tient, pas bête ça... En un sens ça "simplifie" le problème sans le résoudre... Du coup il faudrait une extension à usage unique "régénérer tous les mots de passe" ou une simple annonce "si votre mot de passe ne fonctionne plus..." Qui est la solution de facilité. Les 2 ne fonctionnant que sur un serveur pouvant faire des envois de mail.

steve2206

Membre

Re : Ménage sur Fluxbb.fr

Est-ce que ce ménage peut avoir un rapport avec le bannissement d'une adresse mail? J'explique: j'ai voulu modifier mon adresse mail dans mon profil mais on me dit que c'est impossible car cette adresse mail a été bannie.
Et comme il fut un temps j'avais créé je crois un autre compte "probablement" avec le mail que je compte mettre aujourd'hui, je me demande pourquoi ce mail a été banni: je ne suis pas du genre à dire ou faire quoi que ce soit me faisant bannir normalement!
Donc si ce ménage réalisé a un quelconque lien avec mon problème, comment peut-on arranger ça svp?

---

[img]http://omhistorique.free.fr/Images/BANNIERES_OMH/Signature/SIGNATURES_forOM/SIGNATURE_steve2206(1).jpg[/img]

Mpok

Néo Admin

Re : Ménage sur Fluxbb.fr

Non, le ménage n'a eu AUCUNE incidence sur le bannissement...
J'entends par là que les utilisateurs/adresses mails/adresses IP bannis le sont restés même si l'utilisateur lui-même a été supprimé de la table users.
En gros : le "ménage" n'est pas l'équivalent d'une "grâce présidentielle" pour les bannis...

@steve2206 : si l'adresse mail est bannie, il y a forcément une raison.. (peut-être ancienne). Ou alors c'est un email "jetable", qui est banni de facto.