Présentation de SQLIImport

posté par Jérôme Vieilledent, le 17/08/2010 23:30

Tags : data_import , sqliimport , import contenu , ezpublish

L'import de contenu est une question récurrente lorsque l'on développe des sites web stratégiques. C'est simple, je ne me rappelle pas avoir travaillé sur un seul projet qui n'aie pas besoin d'une fonctionnalité d'import. Le problème réside souvent dans le développement d'un module d'import solide, stable et suffisamment souple.

Bien sûr, il existe des extensions pour eZ Publish (notamment data_import ), j'en ai même développé une (NovenImportXMLStream) que je n'ai pas eu l'occasion de libérer. Seulement voilà, aucune de ces extensions ne me satisfaisait totalement, j'ai donc entrepris d'en développer une nouvelle (oui encore ! :)) : SQLIImport.

Petit tour du propriétaire...

Encore une extension d'import ???

Oui, encore une ! Mais pourquoi ? Il existe bien data_import... Mais voilà, autant cette extension contient de bonnes idées, autant je la trouve beaucoup trop rigide pour une utilisation industrielle (si j'ose dire). Elle permet de gérer différentes sources de données, notamment XML et CSV. Cependant, si elle conviendra à des structures simples, elle se rendra beaucoup moins flexible lorsque vous devrez aborder des structures plus complexes, notamment si vous devez créer plusieurs objets de contenu par élément XML ou CSV. Bien sûr vous pouvez surcharger le import handler de data_import, mais cela revient quasiment à réécrire une nouvelle extension !

Nous y voilà...

SQLIImport : Le cahier des charges

Il fallait donc écrire une extension qui soit suffisamment flexible pour gérer des imports one-shot et réguliers et qui soit également facile à prendre en main pour le développeur chargé de faire le parallèle entre la source de données externe (XML ou CSV principalement) et les contenus eZ Publish :

Gestion de handlers. Chaque source de données doit être gérée par un handler écrit en PHP
Facilité de configuration
Interface PHP permettant d'encadrer le handler
Gestion d'erreurs
Gestion d'options à la volée (hors configuration)
API simplifiée pour la manipulation d'objets de contenu

Par ailleurs, cette extension doit également permettre une exploitation aisée depuis le back-office, à savoir :

Programmer des imports, avec gestion de récurrence
Lancer des imports ponctuels
Connaître le pourcentage de progression d'un import en cours
Pouvoir interrompre un import en cours

Ça fait beaucoup, mais il n'en fallait pas moins pour obtenir quelque chose de réellement exploitable dans le temps.

Fonctionnalités mises en place

Finalement, toutes les fonctionnalités citées ont pu être implémentées dans SQLIImport (et ça n'a pas été une mince affaire !). Voici donc le mode de fonctionnement :

Les imports sont lancés par un cronjob programmé toutes les 5 minutes
Un seul import à la fois
Le cronjob vérifie si des imports immédiats sont demandés et les traite, puis s'occupe des imports programmés
Une factory est instanciée. Elle est chargée de charger tous les handlers d'import disponibles et déclarés dans la configuration de l'extension (via sqliimport.ini)
Tous les handlers d'import doivent implémenter l'interface ISQLIImportHandler et hériter de la classe SQLIImportAbstractHandler
Cela permet de s'assurer que toutes les méthodes attendues par la factory sont bien implémentées
Des parseurs XML et CSV sont mis à disposition
Le parseur XML n'en est pas vraiment un car il s'appuie sur SimpleXML ou DOM. Il est principalement chargé d'attraper les éventuelles erreurs XML et de les transformer en exception.
Un jeu de classes est fourni pour gérer les structures CSV aussi facilement qu'avec SimpleXML

Exemple CSV :

$csvFile = 'extension/sqliimport/stubs/example.csv';
$cli->notice( 'Processing CSV test file '.$csvFile );
 
$options = new SQLICSVOptions( array(
    'csv_path'    => $csvFile,
    'enclosure'   => '~' // Default is ". Mandatory to change if CSV file contains unescaped " chars
) );
$csvDoc = new SQLICSVDoc( $options );
$csvDoc->parse();
 
$rowCount = count( $csvDoc->rows );
$cli->notice( "There are $rowCount rows in CSV file" );
 
// Cleant headers, camel case
$headers = $csvDoc->rows->getHeaders();
$cli->warning( 'Cleant headers : ', false );
$cli->notice( implode( ', ', $headers ) );
 
// Raw headers, as provided in CSV file
$rawHeaders = $csvDoc->rows->getRawHeaders();
$cli->warning( 'Raw headers : ', false );
$cli->notice( implode( ', ', $rawHeaders ) );
 
$cli->notice( $csvDoc->rows[0]->myFirstField ); // array access
 
foreach($csvDoc->rows as $row) // Iteration
{
    $cli->notice( $row->myFirstField );
    $cli->notice( $row->otherField );
    $cli->notice( $row->andAnotherOne );
    $cli->notice();
}

API simplifiée

A la eZ Conference de juin, Ole Marius Smestad nous a parlé dans sa présentation d'une nouvelle API de haut niveau en préparation pour les prochaines versions d'eZ Publish. Je me suis basé sur les éléments présentés et sur quelques échanges pour anticiper et fournir une API simplifiée pour la manipulation de contenu eZ Publish. J'avoue que ça a été la partie la plus difficile, mais ça en valait la peine.

Un petit exemple :

$cli->notice( 'Creation of a new "comment" object' );
$options = new SQLIContentOptions( array(
    'class_identifier'      => 'comment',
    'remote_id'             => 'my_ubber_cool_remote_id',
    'language'              => 'fre-FR'
) );
$comment = SQLIContent::create( $options );
$cli->notice( 'Current version : '.$comment->current_version );
$comment->fields->subject = 'Mon super sujet';
$comment->fields->author = 'Moi !';
$comment->fields->message = 'Le commentaire de la mort';
 
$comment->addTranslation( 'eng-MS' );
$comment->fields['eng-US']->subject = 'My great subject';
$comment->fields['eng-US']->author = 'Batman';
$comment->fields['eng-US']->message = 'Death comment';
 
$comment->addLocation( SQLILocation::fromNodeID( 2 ) );
$comment->addLocation( SQLILocation::fromNodeID( 43 ) );
 
$publisher = SQLIContentPublisher::getInstance();
$publisher->publish( $comment );
 
$cli->notice( 'Current version : '.$comment->current_version );
 
// Loop against locations
foreach( $comment->locations as $nodeID => $location )
{
    $cli->notice( $nodeID.' => '.$location->path_string.' ('.$comment->locations[$nodeID]->path_identification_string.')' );
}
 
// Now free memory. 
// unset() on SQLIContent triggers eZContentObject::clearCache() 
// and eZContentObject::resetDataMap()
unset( $comment );

Exemple de handler et screenshots

Pour finir, voici en à quoi devra ressembler un handler d'import :

Ainsi que le module back-office :

J'espère pouvoir publier cette extension courant septembre :)

Partagez ce billet :

Commentaires

Hate de voir çà! (par Nico O)

Dommage que cela ne sorte qu'en septembre, j'en aurai bien eu besoin. Heureusement data_import n'est pas trop mal et on peut quand même s'en sortir avec. C'était bien plus dur sans.

cool :D (par Yannick Komotir)

Bravo ! jusque là data_import m'aller très bien, j'attends donc avec impatience tester ta nouvelle extension. Coup de chapeau également pour l'API simplifiée

XMLinstaller (par gnoMii)

Bonjour,

On utilise plutot XML installer, qui est plutot pas mal, il suffit de lui fournir un XML bien formatté comme il se doit et c'est parti.

Mais à voir ton code, cela me plait.

Bien à vous.

Pourquoi le sujet n'est pas repris auto ? (par Nicolas Steinmetz)

Est-ce que son pendant au niveau des exports est prévu pour envisager des exports de contenus eZ depuis un environnement de VABF vers des envts de PPR/PROD ?

PS : le formulaire vide pour avoir oublié de remplir le sujet, pas glop

Yes (par Maxime T)

Pareil, dommage que ça soit pas déjà sorti, j'en aurai eu besoin. Je vais donc me contenter de data_import.

Re: Pourquoi le sujet n'est pas repris auto ? (par Jérôme Vieilledent)

Tu peux déjà exporter avec eZXMLExport, mais on ne peut pour l'instant n'exporter qu'une langue à la fois et il n'y a pas de notion d'arborescence (j'y travaille )
En revanche, je compte proposer un handler d'import de base afin de réimporter du contenu exporté par eZXMLExport

Bravo (par Gandbox)

Bravo, c'est bien pensé et très pragmatique.
Il serait intéressant de mutualiser des retours d'expériences concernant certains aspects sensibles :
- L'optimisation des temps de réponses (sur de gros volumes d'ajouts)
- La gestion des relation(s) d'objet(s)
- L'ajouts de médias

A discuter lors des prochaines rencontres

RDV à l'espace Kiron (par Jérôme Vieilledent)

Avec plaisir
RDV le 21/09 prochain à l'espace Kiron

Excellent job ! (par Abdelkader Rhouati)

Un message un peu en retard, j'ai pas eu tester l'extension qu'aujourd'hui .

J'ai utilisé à plusieurs reprise l'extension data_import, elle me parait bien mais trop limitée quand il s'agit d'import de structure assez complexe (arborescences; création d'objet en cours de création d'autres, gestion de langue ...).

Avec SQLiImport, j'aime bien la méthode process, ça permet de définir rester ouvert à toute les possibilités et les fonctionnalités, donc pas de limitation avec de cette nouvelle extension.

Aussi j'aime bien l'API simplifié (Dommage, avec la sortie de la nouvelle API ez, ça risque de ne plus être utilisé )

Bravo Jérôme, tu nous facilite la vie ...

SQLi Import and Oracle (par Simone Tellini)

Hello,

I've been playing with your extension in the past days, using Oracle. I've just published the required schema at http://tellini.info/2010/12/using-sqli-import-with-oracle/ - I thought I'd mention it, in case you want to add it to the project distribution (btw, you might want to add some contact information in the README.txt that comes with the extension

Re: SQLi Import and Oracle (par Jérôme Vieilledent)

Thanks Simone for sharing it ! I just added your contribution to the trunk of the extension

Félicitations et questions (par loic)

Super article et surtout très bonne API. Je l'ai utilisée et j'en suis content. Je voulais savoir si vous aviez une doc fr pour le système d'importation. Je ne comprends pas très bien comment, à partir du backend, l'admin peut importer des csv. J'ai bien suivi quelques articles (en créant un fichier xximporthandler.php et modifié le fichier de conf, mais rien n'y fait).
Merci d'avance pour votre réponse.

SQLIRSSImportHandler (par Gaspard)

Bonjour,

j'airais besoin d'aide sur la configuration de sqliimport et pour installation.
j'ai besoin d'exporter tout le contenu d'un site de worpress vers ezpublish.
Quel est la procédure à suite afin de migrer mes données.
Si avais une procédure ou un tu tutoriel pouvez me le communiquer.
Je vous remercie d'avance.

psoriasis (par psoriasis)

I really like the dear information you offer in your articles. I’m able to bookmark your site and show the others peaple check out up here generally.

Bigo Live ios (par Bigo Live ios)

here i will provide you download guide on bigo live for windows pc using bigo live apk file.

sexting (par kik sexting)

If you need someone to talk for what ever you need.

media dot net (par bigo live for pc)

nice post

share it for pc (par paaps)

nice post

<a href="http://www.shareitforpcfreedownloads.com/">shareit for windows</a>
<a href="http://www.zapyaforpcfreedownload.com/">zapya pc download</a>
<a href="http://www.mobdroforpcdownload.com/">mobdro for windows</a>

BMI CALCULATOR (par BMI CALCULATOR)

Very interesting set out the theme!!learned a lot for myself! thank you!
http://calculatorbmi.org

Login (par 192.168.1.1)

Thanks for very detailed post.

shareitfor pc (par paaps)

bigo (par bigo for pc)

<a href="http://ibigolivepc.com/">bigo live connector</a>

tutuapp (par pokemon go)

tutuapp app android
tutuapp helper
tutuapp free download
http://tutuapppokemongo.com
tutuapp pokemon go hack
tutuapp regular
tutuapp spotify
tutuapp ios
tutuapp download ios

AVG antivirus (par AVG antivirus for download)

Download and install AVG Antivirus for Windows 10 32/64 bit for free. It is always good to be safe online and offline using AVG Antivirus for ...

SQL (par product animation videos)

Configuration alternative incorporate sell overseas to a development folder or self-sufficient SQL file, optionally deposit stored custom and procedures, or skip table statistics.

sGVrbv (par website)

That is my first time visit here. From the tons of comments on your articles, I suppose I am not only one having all the enjoyment here http://nopsoriasis.net/scalp-psoriasis/

gbg (par website)

This is a decent post. This post gives genuinely quality data. I'm unquestionably going to investigate it. http://nopsoriasis.net/types-of-psoriasis/

rgrgrg (par website)

Truly exceptionally helpful tips are given here. Much thanks to you to such an extent. http://nopsoriasis.net/plaque-psoriasis/

VVB (par website)

This article gives the light in which we may see the reality. This is very nice one and gives indepth information. http://nopsoriasis.net/

svfbv (par WEBSITE)

Interesting stuff. I really amazed to see the well written article and the unique posting style. You have shared the best material http://eyebrowthreadinginfo.com/

sprint corporate (par sprint corporate)

Hello! Very interesting topic, thank you raised it

tnks (par تور تایلند)

Thank you for your efforts, Excellent site..

Nereida Torset (par Leonardo Lucksom)

Indianapolis 500 Live (par Indianapolis 500)

Indianapolis 500

Very pleased! (par Anna)

Thanks to the author for the article! Very pleased!
http://calculatorbmi.org/macro-calculator

Belmont Stakes (par Belmont Stakes 2017 Live Stream)

https://stakesbelmont2017.org/ Belmont Stakes, 2017 Belmont Stakes, WAtch Belmont Stakes 2017 Live Streaming Free.

sqliimport overview (par sanchal)

Thanks for sharing the information about the sqliimport overview
https://www.2basetechnologies.com

Notary Seals,Notary Stamps and Notary Supplies (par prestodirect)

http://prestodirect.com
http://prestodirect.com/notary-supplies.aspx
http://prestodirect.com/alabama-notary-store.aspx
http://prestodirect.com/alabama-notary-embossing-seals.aspx
http://prestodirect.com/justice-of-the-peace-embossing-seals.aspx
http://prestodirect.com/corporate-stamps.aspx

zootopia 2 (par zootopia 2)

<a href='https://www.tvseasonspoilers.com/anime/zootopia-2-release-date-updates/'>zootopia 2</a> release is expected in 2017 and here are exclusive updates and plot details about our favorite anime series

Make My Python Programming Project (par Make My Python Programming Project)

only professional writers can make this kind of material, cheers

T-test Assignment Help (par T-test Assignment Help)

Dissertation Guidance Provides quality Online Dissertation Help for students.

Online Class Help (par Online Class Help)

They are not able to finish the writing assignments on time. For some students, writing any writing assignments is able to waste their time

online stopwatch (par online stopwatch )

Every person had to use a stopwatch at least once. This is a very useful thing that allows you to measure time intervals with maximum accuracy. As a rule, this device is able to measure even a time equal to one hundredth of a second. http://timeronline.net/stopwatch/

Online timer (par Online timer)

Thanks to the author for such an excellent article !! If you want every day to be fruitful, then you just need to control the time! For this is ideal timer! Try it on this site! http://timeronline.net/

Technical Support (par Jason borne)

Thanks
http://www.avastcomsetup.com/
http://supportfornorton.com/
http://gmailcustomerservice.com/
http://www.officesetupenterkey.com
http://www.officecomsetup.co
http://www.officecomsetup.ca

Office (par Office Com Setup)

http://www.www-officecomsetup.com/
http://www.office-comsetup.com/
http://www.printertech-support.com
https://www.office-setup-help.com
http://www.nortoncomset-up.com/

Case Analysis (par Case Analysis)

I'm getting excited about this kind of beneficial information of your stuff in the future

ertg (par egfd)

Jonestown Homes For Sale (par tusharupwork05@gmail.com)

So luck to come across your excellent blog. Your blog brings me a great deal of fun.. Good luck with the site. <a href="http://www.prideoftexas.net/jonestown.htm">Jonestown Homes For Sale</a>

relojes imitacion (par relojes imitacion)

Los premios destacan el trabajo altamente http://www.replicasrelojesespana.com/category/rolex creativo y de gran valor hecho detrás de las escenas, http://www.replicasrelojesespana.com/category/omega que es esencial para el éxito de una película, http://www.replicasrelojesespana.com/category/breitling ya sea la secuencia de comandos o las obras maestras y el diseñador de vestuario.

Good night messages (par Rohit)

Park Benches (par tusharhossain4200@gmail.com)

Hi I found your site by mistake when i was searching yahoo for this acne issue, I must say your site is really helpful I also love the design, its amazing!. I don’t have the time at the moment to fully read your site but I have bookmarked it and also add your RSS feeds. I will be back in a day or two. thanks for a great site.

Spinner Fidget Toy (par Spinner Fidget Toy)

http://www.yeezyboost350.us.com/yeezy-350-boost-v2-c-26/ Yeezy Boost 350 V2 Zebra

http://www.vapor-max.org/ VaporMax

http://www.spinnerfidgettoy.us/ Spinner Fidget Toy

http://www.raybanoutletclearance.com/ Ray Ban Outlet

http://www.yeezy-boost350v2.com/ Yeezy Boost 350 V2

http://www.nfljerseys.us/ Cheap NFL Jerseys

http://www.longchampbags.us.com/ Longchamp Handbags

http://www.yeezyboost350.us.com/ Yeezy Boost 350 V2

http://www.adidas-uk.org.uk/ Adidas

http://www.vapor-max.com/ Air Max Shoes

http://www.yeezy-shoes.us.com/ Yeezy

http://www.raybansunglasses.ca/ Ray Ban Sunglasses

http://www.yeezys.org/ Yeezys

http://www.yeezyboost-350.org.uk/ Yeezy Boost 350 V2

http://www.kade-sapde.us.com/ Kade Sapde

http://www.adidasoutlets.us.com/ Adidas Outlet

http://www.nike-stores.fr/ Nike Store

http://www.adidas-outlet.in.net/ Adidas Outlet

http://www.underarmouroutlet.us.com/ Under Armour

http://www.timberlanduk.org.uk/ Timberland

http://www.jordan12.us/ Jordan 12

http://www.nikeairmax.us/ Air Max

http://www.outlettoms.us/toms-women-c-1/ Toms Outlet

http://www.ultraboostuncaged.us/ Ultra Boost

http://www.mlb-jerseys.us/ MLB Jerseys

http://www.adidas-nmds.com/ Adidas NMD R1

http://www.oakleyoutlet.net.co/ Oakley Outlet

http://www.katespadeoutlets.us/ Kate Spade Outlet

http://www.adidas-outlet.org/ Adidas Outlet

http://www.nikeairmax-90.com/ Nike Air Max 90

http://www.vapor-max.com/ Vapor Max

http://www.timberland-outlet.us/ Timberland Outlet

http://www.adidas-nmd.org.uk/ Adidas NMD

http://www.adidaseqt.com/ Adidas EQT

http://www.ralphlaurens.org.uk/ Ralph Lauren

http://www.tomsoutlet-online.us.com/ Toms Outlet

http://www.jordan4.us/ Jordan 4

http://www.cheapjordan-shoes.com/ Cheap Jordan

http://www.adidasnmdoutlet.com/ Adidas NMD

http://www.jordan-shoes.in.net/ Jordan Shoes

http://www.katespadeoutlet.us.org/ Kate Spade Outlet

http://www.longchamp-outlet.ca/ Longchamp Outlet

http://www.adidasyeezy.org/ Adidas Yeezy

http://www.adidasnmdsales.us/ Adidas NMD R1

http://www.nike-airmax90.com/ Nike Air Max 90

http://www.running-shoes.top/ Running shoes

http://www.starboots.us/ Basketball Shoes

http://www.michael-kors-bags.us/ Michael Kors bags

http://www.yeezy-outlet.us/ Adidas Yeezy outlet

http://www.asics.us.com/ Asics

http://www.coach-online.us/ Coach Factory Outlet

http://www.vapor-max.com/ Cheap Nike Shoes 2017

http://www.timberland-outlets.org/ Timberland outlet

http://www.jordan-air.us/ Air Jordan

http://www.adidasyeezy.org/ Adidas Yeezy

http://www.nikeairvapormax.top/ Nike VaporMax

http://www.airmaxvapor.com/ Air Maxvapor

autocad assignment (par autocad assignment)

This is really great work. Thank you for sharing such a good and useful information here in the blog for students.
http://www.autocadhelp.net/

how to write case study (par how to write case study)

This is really great work. Thank you for sharing such a good and useful information here in the blog for students.
https://www.casestudy.help

youtube to mp3 converter (par youtube to mp3 converter)

Superbly written article, if only all bloggers offered the same content as you, the internet would be a far better place..

instagram online viewer (par instagram online viewer)

this blog was really great, never seen a great blog like this before. i think im gonna share this to my friends..

instagram online web viewer (par instagram online web viewer)

It proved to be Very helpful to me and I am sure to all the commentators here!

tutu helper ios free (par tutu helper)

Download tutu app to get paid games and applications for free <a href="http://tutuhelperguides.com">tutu helper ios free</a>

free standing pull up bar (par Anh Kim Bui)

Do you suffer from Sciatica or Disc Herniation ? Use World Best Portable free Standing Pull up Bar By khanh trinh, ALL FOR YOUR HEALTH MAKE YOUR LIFE BETTER
https://khanhtrinhvn.com/
https://khanhtrinhvn.com/benefits-of-exercises-with-chin-up-bar/

Ecommerce development company (par Ecommerce development company)

Awesome article, it was exceptionally helpful! I simply began in this and I'm becoming more acquainted with it better! Cheers, keep doing awesome!