Spoken document representations for probabilistic retrieval
Résumé
Zusammenfassung Dieser Bericht pr asentiert einige Entwicklungen zur Fragenerweiterung and Dokumentendarstellung in unserem Spracherfassungssystem. Verschiedene Erfassungsmethoden, die auf einer Menge von Transkriptionen basieren welche von g angigen Textquellen abgeleitet werden, k onnen auf die Leistung einen Ein¯uss haben. Wir zeigen, daû Modifi-kationen an der Dokumentendarstellung in Kombination mit verschiedenen Techniken der Fragenerweiterung, die einerseits wissensbasiert und andererseits statistikbezogen sind, Durchschnittsgenauigkeitverbesserungen von mehr als 19% relativ zu einem anlichem System im Vergleich zu dem hier pr asentiertem TREC-7, ergeben. Diese neuen Expe-rimente haben ebenfalls best atigt, daû die Durchschnittsgenauigkeitdegradierung, bezogen auf die Wortfehlerrate (WER) von 25% ziemlich klein sind (3X7% relativ) und sie auf fast auf null reduziert werden k onnen (0,2% relativ). Die Gesamtverbesserungen des Spracherfassungssystems wurde auch f ur sieben verschiedene Mengen von Transkriptionen, mit Wortfehlerrate zwischen 24X8% und 61X5%, observiert. Wir hoen, diese Ergebnisse f ur gr ossere Dokumenten-sammlungen zu wiederholen, um die Skalierbarkeit dieser Techniken absch atzen zu k onnen.
This paper presents some developments in query expansion and document representation of our spoken document retrieval system and shows how various retrieval techniques affect performance for different sets of transcriptions derived from a common speech source. Modifcations of the document representation are used, which combine several techniques for query expansion, knowledge-based on one hand and statistics-based on the other. Taken together, these techniques can improve Average Precision by over 19% relative to a system similar to that which we presented at TREC-7. These new experiments have also confirmed that the degradation of Average Precision due to a word error rate (WER) of 25% is quite small (3.7% relative) and can be reduced to almost zero (0.2% relative). The overall improvement of the retrieval system can also be observed for seven different sets of transcriptions from different recognition engines with a WER ranging from 24.8% to 61.5%. We hope to repeat these experiments when larger document collections become available, in order to evaluate the scalability of these techniques.
Cet article présente quelques développements dans l'expansion de requête et la représentation des documents de notre système de recherche documentaire et montre comment les diverses techniques de recherche augmentent la performance pour différents ensembles de transcriptions dérivés d'une source de parole commune. Des modifications de la représentation des documents sont effectuées, qui combinent plusieurs techniques pour l'expansion de requête, fondées sur des connaissances d'une part et sur des statistiques d'autre part. Utilisées conjointement, ces techniques peuvent améliorer la Précision Moyenne de plus de 19%, relativement a un système semblable à celui que nous avons présenté a TREC-7. Ces nouvelles expérimentations ont également confirmé que la dégradation de la Précision Moyenne due a un Taux d'Erreur de Mot (WER) de 25% est vraiment faible (3,7% relatif) et peut être réduite a une quantité négligeable (0,2% relatif). L'amélioration globale du système de recherche documentaire peut aussi être observé pour sept ensembles différents de transcriptions provenant de différents systèmes de reconnaissance ayant un WER variant de 24,8% a 61,5%. Nous espérons reproduire ces expérimentations, lorsque de plus grandes collections de documents parlés seront disponibles, afin d'évaluer le comportement de ces techniques sur de plus gros volumes de données.
Origine : Fichiers éditeurs autorisés sur une archive ouverte
Loading...