beavis69 / tv_grab_fr_telerama Goto Github PK

View Code? Open in Web Editor NEW

38.0 38.0 15.0 84 KB

XMLTV Grabber using telerama api data

License: GNU General Public License v3.0

Perl 100.00%

epg scraper xmltv

tv_grab_fr_telerama's People

Contributors

Stargazers

Watchers

Forkers

hamelg fgouget patrick-g2 sickless hvb pduveau sdrik gipe66 sainclair micka41 algra4 tranbert micorpat intcomodor onidio

tv_grab_fr_telerama's Issues

Offset need to be adjusted

Hello !

Il semblerait que depuis quelques jours Telerama a fait un changement sur son site en donnant accès à moins de jours pour les programmes.

Par exemple à ce jour (09/08/20) il y a seulement les programmes jusqu'au 13/08 inclus. Quasi sûr qu'avant on pouvait aller plus loins.

Je ne sais pas si c'est pour toujours, mais si c'est le cas il faudra peut être diminuer le max de l'offset ?

Merci d'avance.

Manque le casting pour les pièces de théâtre

J'ai fait un ajout pour les pièces de théatre

Voici le diff attaché

Merci pour vos commentaires.
diff.zip

progress bar already finished at /usr/local/share/perl/5.26.1/XMLTV/ProgressBar.pm line 70.

Hi,

Since 2.4 I'm facing this error:

"progress bar already finished at /usr/local/share/perl/5.26.1/XMLTV/ProgressBar.pm line 70."

I'm using XMLTV 0.5.70-1 under ubuntu.

Does anyone else is facing this?

Installation sur Synology

Bonjour,

J'utilisais jusqu'ici tv_grab_fr_telerama de Mohamed El Morabity écrit en Python pour alimenter la grille des programmes TV de DVBLink. Tout ceci sur mon NAS Synology DS213+

Apparement cela ne fonctionne plus (c'est du côté Télérama d'après ce que j'ai compris), aussi je me frotte à votre script PERL. Je ne sais pas si cela va fonctionner mais j'ai commencé par installer PERL sur mon NAS et je bute sur un module absent use XMLTV::Usage.

Pourriez-vous me dire comment récupérer et installer ce module additionnel ?

Merci d'avance

Cordialement - Jean-Paul

Problème de traitement du titre des journaux de France 3

Bonjour,

Merci tout d'abord pour votre travail sur l'EPG qui m'est bien utile.

J'ai juste un petit bug à remonter : Les journaux de France 3 ont leurs noms tronqués.

En effet le 12/13 Lorraine devient le 13 Lorraine ou le 12/13 : Journal National devient 13 : Journal National.

<title>13 Lorraine</title> journal 18 Tout public <title>13 : Météo régionale</title> Un aperçu des prévisions météorologiques concernant la région pour la journée et le lendemain. météo 7 Tout public <title>13 : Journal national</title> Journal national du 12/13 pour connaître l'essentiel de l'actualité nationale à la mi-journée. journal 30 Tout public

Alors que sur Telerama tout est OK.

Pouvez-vous corriger le traitement du "/" ?
Merci beaucoup.

Séquences <... > présentes dans le texte

Bonjour,
on trouve dans les descriptions des séquences <... > qui sont probablement des résidus du HTML scrapé.
Serait il possible de les éliminer du xmltv produit ?

Merci

Erreur de Clé et d'initialisation

Bonjour,

Lors du lancement du script, depuis ce soir (pas hier ni ce matin), il y a un message d'erreur :

~$ ./tv_grab_fr_telerama --output=$HOME/Téléchargements/tv_grab_fr_telerama/complet.xml
using config filename $HOME/.xmltv/tv_grab_fr_telerama.conf
assuming default UTF-8 encoding for output
getting listings: Erreur 401 Unauthorized en récupérant https://api.telerama.fr/v1/application/initialisation
Seconde erreur 401 Unauthorized en récupérant https://api.telerama.fr/v1/application/initialisation
malformed JSON string, neither array, object, number, string or atom, at character offset 0 (before "(end of string)") at $HOME/Téléchargements/tv_grab_fr_telerama/tv_grab_fr_telerama line 784.

En entrant l'url https://api.telerama.fr/v1/application/ dans mon navigateur, il me renvoi :
{"status":401,"error":true,"msg":"Le param\u00e8tre api_cle est obligatoire."}

Pb d'accents

Dans le XML, certains accents (pas tous) ne sont pas bien traités :

Error during getting listings

Hi,

Since some days the grabber don't work anymore for me, this is what I get:

getting listings: Modification of non-creatable array value attempted, subscript -1 at ./tv_grab_fr_telerama/tv_grab_fr_telerama line 988.

Thank you!

Died at /usr/share/perl5/vendor_perl/XMLTV.pm line 1239.

Depuis quelques jours, mythfilldatabase se termine en erreur et les données disponibles s’arrêtent au 5/12 :

mythfilldatabase[31501]: E CoreContext xmltvparser.cpp:670 (parseFile) Error in 537:15: unexpected end of file
mythfilldatabase[31501]: E CoreContext filldata.cpp:441 (GrabData) FillData: XMLTV grabber returned error code 255

Quand on lance tv_grab_fr_telerama à la main, il plante ici :

Died at /usr/share/perl5/vendor_perl/XMLTV.pm line 1239.

C'est du à des données erronées renvoyées par l'api, en l’occurrence null pour nom et prénom :

         "intervenants" : [
...
            {
               "role" : "",
               "ordre" : 1,
               "url_personnalite" : "/node/5089948",
               "libelle" : "Réalisateur",
               "nom" : null,
               "id_role" : "2",
               "id_personne" : "474855",
               "id_emission" : "140871859",
              "prenom" : null
            },
...

EDIT:
Pour résoudre le souci j'ai du ajouter un test en ligne 1048 du tv_grab_fr_telerama :

next unless ($cname);

Possibilité de déactiver le triage des chaînes

Bonjour,
Depuis plusieurs version (au moins la 2.5) les chaînes sont triées alors qu'avant elles était sauvegardées dans l'ordre du fichier de configuration.
J'utilise xsltv qui génère un fichier html depuis le fichier xml du graber.
Serait-il possible d'avoir le comportement d'avant soit : suivre le tri du fichier de configuration ?

<tv source-info-url="https://api.telerama.fr" source-data-url="https://api.telerama.fr" generator-info-name="XMLTV" generator-info-url="http://mythtv-fr.org/">
  <channel id="C4.api.telerama.fr">
    <display-name>France 2</display-name>
    <icon src="https://television.telerama.fr/sites/tr_master/files/sheet_media/tv/500x500/4.png" />
  </channel>
  <channel id="C47.api.telerama.fr">
    <display-name>France 5</display-name>
    <icon src="https://television.telerama.fr/sites/tr_master/files/sheet_media/tv/500x500/47.png" />
  </channel>
  <channel id="C78.api.telerama.fr">
    <display-name>France 4</display-name>
    <icon src="https://television.telerama.fr/sites/tr_master/files/sheet_media/tv/500x500/78.png" />
  </channel>

channel 192 TF1;https://television.telerama.fr/sites/tr_master/files/sheet_media/tv/500x500/192.png
channel 4 France 2;https://television.telerama.fr/sites/tr_master/files/sheet_media/tv/500x500/4.png
channel 80 France 3;https://television.telerama.fr/sites/tr_master/files/sheet_media/tv/500x500/80.png

gestion des erreurs de get_nice

Quand il n'y a pas de programme l'api répond une 404 avec du json qui contient msg="Il n'y a pas de programmes"

Il faudrait faire la gestion des erreurs de get_nice de notre coté et afficher un warning lorsque qu'une chaine n'a pas de programme (le warning n'est pas affiché si --quiet est présent).

Les credits ne sont pas lus sur un telefilm sentimental

Dans le cas du téléfilm sentimental de TF1 du 9/12 à 13:55 , les variables sont subgenre="téléfilm sentimental" et genretext="Téléfilm"

Dans ce cas même si le opt_casting=1, les castings ne sont pas lus, voir ligne 1109 :
if($opt_casting && ($subgenre eq '' || $subgenre !~ /(animation|réaliste|jeunesse|téléréalité|sentimental|burlesque)$/i) && ($genretext =~ /^(Film|Série|Feuilleton|Téléfilm|Théâtre)$/i)) {

le test $subgenre !~ ne valide pas le subgenre "téléfilm sentimental"

En remplaçant le !~ par =~ ça fonctionne, mais est-ce la bonne option ? Ca risque de valider trop de genres...

Merci pour ce grabber, Jean-Paul.

La récupération des programmes ne fonctionne plus ?

Il semble que depuis le 8 les programmes ne soient plus tous récupérés, et qu'ils ne le soient plus du tout à partir du 13.

Plus d'EPG depuis quelques jour

Bonjour,
Depuis quelques jours, je n'arrive plus à télécharger d'EPG. J'obtiens des messages d'erreur comme :

using config filename /home/user/xmltv/tv_grab_fr_telerama.conf
assuming default UTF-8 encoding for output
getting listings
Erreur 400 Bad Request en récupérant https://api.telerama.fr/v1/application/initialisation?appareil=android_tablette&api_cle=apitel-5304b49c90511&api_signature=fcbeb0383a597f2ba732f622f4b3c90e667d492d
Seconde erreur 400 Bad Request en récupérant https://api.telerama.fr/v1/application/initialisation?appareil=android_tablette&api_cle=apitel-5304b49c90511&api_signature=fcbeb0383a597f2ba732f622f4b3c90e667d492d
malformed JSON string, neither array, object, number, string or atom, at character offset 0 (before "(end of string)") at /path/to/xmltv/tv_grab_fr_telerama/tv_grab_fr_telerama line 879.

Auriez-vous une idée ?
Merci

Changement dans les API en 2021 ?

Bonjour,

Ce point a sans doute déjà été constaté : les programmes sont bien en ligne sur le site web de télérama mais tv_grab-télérama ne semble plus récupérer les contenus à partir du mardi 5 octobre 2021 matin. (testé avec une version 6.3 et une version 6.8).

Cordialement,
RT91

404 Not Found

Bonjour,

Apparemment ils viennent de changer quelque chose, le serveur retourne des 404.

Grabber process finished in 696 seconds.
`

Barre de défilement dans l'interface utilisateur absente

Bonjour,

Je viens de lancer le script avec l'option de l'interface utilisateur graphique dans une machine virtuelle, grâce à Virtualbox, le système installé est ArchLinux avec Gnome (les paramètres sont réglés par défaut).

Le bug est que la barre de défilement ne s'affiche pas, il n'y a qu'une fenêtre avec marqué "getting listings" au milieu, faut-il une dépendance particulière ?

Sur ma machine, où Arch est installé en dur, il n'y a pas le problème.

Disparition du réalisateur

Depuis peu (hier ?), le champ "director" n'est plus rempli, et les acteurs sont dans un champ "guest".
J'utilise la dernière version du script mais ce n'est pas elle qui cause ce problème, je pense.
Ce champ "director" me permet de faire le lien avec ma base de données et d'y sélectionner les films diffusés à la TV.

Exemple pour True Lies qui passe ce soir :


  <programme start="20171017231500 +0200" stop="20171018015500 +0200" showview="" channel="C444.api.telerama.fr">
    <title>True Lies</title>
    <desc lang="fr">Pour une fois que les Américains réussissent un remake d'une œuvre frenchie… A partir du gentil film de Claude Zidi, &lt;I&gt; La Totale,&lt;I&gt; Cameron multiplie les scènes spectaculaires. Schwarzie, mari neuneu le jour et superman la nuit, est presque (on a dit presque) drôle. Un bon divertissement. - Critique : Film de James Cameron (USA, 1994). D'après Claude Zidi, Simon Michaël et Didier Kaminka. Image : Russell Carpenter. Musique : Brad Fiedel. 150 mn. VF. Avec Arnold Schwarzenegger : Harry Tasker. Jamie Lee Curtis : Helen Tasker. Tom Arnold : Gib. Bill Paxton : Simon. Tia Carrere : Juno Skinner. Art Malik : Salim Abu Aziz. Eliza Dushku : Dana. Charlton Heston : Spencer Trilby.
Genre : comédie d'aventures.
Depuis dix-sept ans, Harry fait croire à sa famille qu'il est un paisible représentant, alors qu'il est le super-espion d'une brigade antiterroriste. Il découvre qu'un minable, se faisant passer pour un agent secret, courtise sa femme.
Poids du budget (120 millions de dollars), choc des stars (Schwarzenegger, Jamie Lee Curtis)... C'est le remake américain d'une petite comédie bien de chez nous, La Totale, de Claude Zidi. A la caméra, James Cameron, qui n'a pas pour habitude de peser des oeufs de mouche dans des toiles d'araignée (Aliens, Abyss, Terminator - 1 et 2 - et le fameux Titanic). Surprise : le scénario imaginé par Zidi en sort bonifié ! Les scènes les plus spectaculaires se mêlent aux scènes de ménage. Pour reconquérir sa femme, Harry se livre à mille et une acrobaties aux commandes d'un hélicoptère, d'une voiture folle ou d'un avion à décollage vertical.
Déjà vu, pensez-vous ? Détrompez-vous : True Lies est le triomphe du compositing, qui consiste à incruster images de synthèse, prises de vues réelles et maquettes. Miracle de la technique, on n'y voit que du feu ! Un peu long, un peu bruyant... mais drôle et distrayant !
Bernard Génin</desc>
    <credits>
      <guest>Arnold Schwarzenegger</guest>
      <guest>Jamie Lee Curtis</guest>
      <guest>Tom Arnold</guest>
      <guest>Bill Paxton</guest>
      <guest>James Cameron (Réalisateur/Metteur en Scène)</guest>
      <guest>James Cameron</guest>
      <guest>Arnold Schwarzenegger (Harry Tasker)</guest>
      <guest>Jamie Lee Curtis (Helen Tasker)</guest>
      <guest>Tom Arnold (Albert Gibson)</guest>
      <guest>Bill Paxton (Simon)</guest>
      <guest>Charlton Heston (Spencer Trilby)</guest>
      <guest>Tia Carrere (Juno Skinner)</guest>
      <guest>Art Malik (Salim Abu Aziz)</guest>
      <guest>Eliza Dushku (Dana Tasker)</guest>
      <guest>Brad Fiedel</guest>
      <guest>James Cameron</guest>
      <guest>Claude Zidi</guest>
      <guest>Simon Michaël</guest>
      <guest>Didier Kaminka</guest>
    </credits>
    <date>1994</date>
    <category lang="fr">film</category>
    <category lang="fr">film d'action</category>
    <length units="minutes">160</length>
    <icon src="http://television.telerama.fr/sites/tr_master/files/sheet_media/media/169_emi_96265.jpg" />
    <country>américain</country>
    <star-rating>
      <value>3/5</value>
    </star-rating>
  </programme>

Merci

category et sub-category

Là aussi, un exemple :

    <category lang="fr">film : comédie</category>

J'avais l'habitude de feu http://xmltv.dtdns.net/ où le formalisme était plutôt :

 <category lang="fr">film</category>
  <category lang="fr">comédie</category>

Ce serait envisageable ?

Merci !

Issue since few day : Malformed Json

Hi, since few days, script can't grab on telerama... I have an error with json malformed.
Can you explain me why please ?

Getting EPG Telerama...
getting listings: #malformed json on https://api.telerama.fr/v3/programmes/grille?appareil=android_tablette&date=2021-09-30&heure_debut=00:00&heure_fin=23:59&id_chaines=111,112,115,118,119,121,128,145,147,185,191,192,195,197,205,225,226,229,234,241,243,282,283,284,285,287,293,299,300,321,325,344&nb_par_page=3200&page=1&api_cle=apitel-g4aatlgif6qzf&api_signature=c0c89829877d630019319f6313f56fe4ecea74ac : 200 OK
Getting EPG Webgrab...

Fonctionnement

Bonjour,

J'essaye de comprendre le script, surtout la partie signature.
C'est bien par exemple ça:

/v1/programmes/telechargement?dates=2018-01-29&nb_par_page=100&appareil=android_tablette&id_chaines=10

Qu'il faut signer avec la clé Eufea9cuweuHeif en SHA1.
Ensuite rajouter à la fin:

&api_cle=apitel-5304b49c90511&api_signature=lasignaturesha1

Et bien sure mettre https://api.telerama.fr au début pour avoir:
https://api.telerama.fr/v1/programmes/telechargement?dates=2018-01-29&nb_par_page=100&appareil=android_tablette&id_chaines=10&api_cle=apitel-5304b49c90511&api_signature=1449c41a5a090b84e52b7dff40fe61e29bb7f69b

Je dois avoir une faute quelque part car j'ai toujours mauvaise signature comme réponse.

Absence de casting

In the JSON received from TELERAMA some informations have disappeared. Particularly there is no more 'intervenants' which contains the whole casting of the emission.
So, I think the tv_grabber doesn't give anymore the casting.
I think we need to send another url to get this casting.
I'm interested to know what this url is.

Crédits manquants

Bonjour,
Depuis que je suis passé de la 1.33 à la 1.36, les crédits (balise <credits> contenant le réalisateur...) ont apparemment disparu du fichier XML généré.
Merci

beavis69 / tv_grab_fr_telerama Goto Github PK

tv_grab_fr_telerama's People

Contributors

Stargazers

Watchers

Forkers

tv_grab_fr_telerama's Issues

Recommend Projects

Recommend Topics

Recommend Org