Blog de Pierrick Le Gall

Aller au contenu | Aller au menu | Aller à la recherche

jeudi 21 février 2008

Ce blog a déménagé

Ce blog a déménagé : nouveau blog (français uniquement)

Je suis en train de diviser mon site web en 2 sections : anglais et français. Je ne souhaite plus lire du français et de l'anglais sur la même page. Je pense que c'est déroutant pour tous les lecteurs.

Le système antispam du nouveau blog est plus avancé, les commentaires y sont donc ouvert. J'espère que vous réagirez à mes billets.

This blog has moved

This blog has moved to a new location: new blog (english only)

I'm dividing my website in 2 sections: english and french. I don't want anymore to read french and english on the same page. I think it's confusing for both readers.

The new blog antispam system is more advanced, so comments are open, I hope you'll react to my post.

vendredi 21 décembre 2007

Talend Open Studio 2.3.0M2 is out

TOS logo Talend Open Studio 2.3.0M2 is out. Let me list you what's new concerning Perl generation, compared to the current main release 2.2.3. As you will see, Perl code generation is still in progress :-) 13 new components, 8 new features in existing components. In this blog post, I only list news about Perl code generation, there are of course more new features, they are fully listed on the official ChangeLog page in releases 2.3.0M1 and 2.3.0M2.

Lire la suite

jeudi 29 novembre 2007

MySQL bulk update with Talend Open Studio

3 years ago, I introduced in PhpWebGallery a very fast way to update several lines of the same table, at once. See PhpWebGallery Subversion revision 625 for details. I don't remember how this idea came to me, but I've implemented it as a component in Talend Open Studio. The purpose is to improve speed on mass updates.

The standard way to update several lines of a table, with different values for each line of course, is to perform a query for each line to update. In a web application it is a really bad thing not to know in advance the number of queries for each page. In any other situation, it's not good because it's very slow.

Lire la suite

mercredi 28 novembre 2007

MySQL extended insert mode in Talend Open Studio

In feature 2378, I've implemented MySQL specific extended insert mode. Extended insert means that instead of inserting lines one by one, you insert many lines in the same insert query. Don't get confuse with a transaction mecanism, it's not. The advantage is speed.

To illustrate the performance improvement we'll have in Talend Open Studio 2.3.0M2 using extended inserts, I've created a benchmark : we read lines from a delimited file and we insert them in a table. 3 simple fields per line (numeric id, firstname, lastname). 1 million of lines to insert.

Lire la suite

vendredi 23 novembre 2007

New whitelist generator with TOS 2.3.0M1

I've updated the first Talend Open Studio "use case" I wrote nearly one year ago with release 1.1.0RC1. This time I use new feature from Talend Open Studio 2.2.x : tUnite and tNormalize avoid the temporary file and the "include sub directories" option in tFileList makes the job smarter.

whitelist generator with TOS, version 2

lundi 12 novembre 2007

Talend Open Studio aux journées Perl 2007

Logo Journées Perl 2007

Les journées Perl 2007 auront lieu à Lyon. Sur le campus où j'ai fait mes études d'ingénieur. Si la SNCF le veut bien, j'y serai pour écouter les autre présentateurs mais aussi pour co-présenter une conférence avec Richard, également développeur Perl chez Talend.

Devant une assemblée de développeurs Perl plus ou moins expérimentés, nous allons tenter de démontrer que dans certains cas, utiliser un générateur de code est plus avantageux que de coder directement le script. Notre objectif n'est pas de dire que TOS doit se substituer à tout développement spécifique en Perl mais bien de convaincre de l'intérêt à concevoir en 15 minutes un script qui prendrait plusieurs jours à coder à la main.

Pour faire cette démonstration, nous allons mettre sur notre job de la lecture XML, de l'aggregation, de l'écriture en base ainsi que d'autres petites surprises.

J'ajoute qu'afin d'attirer les foules, nous allons mettre en jeu un Ipod Nano 8GB qui sera gagné par tirage au sort. Ca fait au moins une bonne raison de venir :-)

lundi 22 octobre 2007

Debian Linux as a Microsoft SQL Server client

Debian logo Microsoft SQL Server

We're using Debian Etch (with GNU/Linux) as a server at Talend office. We need to reach a remote Microsoft SQL Server database. The first step is to perform a select query in the command line.

We need to install FreeTDS: FreeTDS is a set of libraries for Unix and Linux that allows your programs to natively talk to Microsoft SQL Server and Sybase databases.. We have to define an "interface" for the Microsoft SQL Server in the FreeTDS "interfaces" file. At the end of the line,w use sqsh, a command line client for Sybase and Microsoft SQL Server.

Lire la suite

vendredi 7 septembre 2007

SSH, key authentication and batch mode

OpenSSH logo

A long time ago, I've tried to use connect to a SSH server with my private key in a batch mode (with a cron task). I didn't find the way to do it. Now I have. It is as simple as to have no passphrase on your private key. Less secure (but still much more secure than FTP connection) but makes SSH possible in cron task.

Lire la suite

mardi 21 août 2007

Talend 2.2.0M1 and Perl code performances

Talend logo

Richard and I have both worked 2 weeks on a main improvement proposed by Richard.

.----------------------------------------------------.
| job        | TOS 2.1.1 | TOS 2.2.0M1 | improvement |
+------------+-----------+-------------+-------------+
| Scenario 2 |    20.8 s |      16.9 s |      18.8 % |
| Scenario 3 |    81.2 s |      30.4 s |      62.6 % |
'------------+-----------+-------------+-------------'

Lire la suite

vendredi 6 juillet 2007

MySQL joins

MySQL logo

As another reminder for myself, here is a list of join examples with MySQL (to compare with Oracle behaviour in previous blog ticket)

Lire la suite

Oracle joins

Oracle logo

As a reminder for myself, here is a list of join examples using Oracle.

Lire la suite

jeudi 10 mai 2007

PEM

PEM is an opensource web application that let project users share their own project extensions. PEM stands for Project Extension Manager.

PEM in action

Lire la suite

mardi 17 avril 2007

Subversion incremental backup

Subversion log

When your Subversion repository gets bigger and bigger, you need to find a solution to backup only what's new, and not the whole repository. Thanks to Subversion revisions, we can easily identify what's new since last backup. I've used this principle to write a Perl script making incremental backup.

Lire la suite

vendredi 2 mars 2007

Les cigognes sont repassées

Pierrick et Tiphaine, maternité

Mercredi 21 février 2007 à 15h45, Marion m'appelle au travail je crois que je vais avoir besoin de toi. Les contractions ont commencé depuis 15h, fréquentes (période de 10 minutes) et douloureuses. Pas de perte des eaux. La maman de Marion la rejoint à l'appartement, mais Marion m'attend pour partir à la maternité.

50 minutes plus tard, j'arrive à l'appartement et à 16h45 nous partons pour la clinique du Chesnay Parly 2.

Nous arrivons à la maternité à 17h15. Marion passe en salle de pré-travail. Le col est à 3 cm. Prise de sang pour une éventuelle péridurale. Monitoring des contractions en intensité et fréquence, monitoring de la tension. Pendant toute la grossesse, l'idée a plutôt fait son chemin : Marion ne veut pas de péridurale. Mais la douleur aidant, changement d'avis, on prévient les sage-femmes.

Lire la suite