Projekty finansowane przez NCN

Dane kierownika projektu i jednostki realizującej

Szczegółowe informacje o projekcie i konkursie

Słowa kluczowe

Aparatura

Wyczyść formularz

ALOFON - Metodyka i technologia polimodalnej alofonicznej transkrypcji mowy

2015/17/B/ST6/01874

Słowa kluczowe:

interfejsy multimodalne śledzenie wzroku stymulacja polisensoryczna EEG neurologia

Deskryptory:

  • ST6_9: Interakcja człowiek – komputer, rozpoznawanie i synteza mowy, przetwarzanie języka naturalnego
  • HS2_6: Językoznawstwo ogólne, teoria i metodologia badań językoznawczych
  • ST7_9: Interfejs człowiek-komputer

Panel:

ST6 - Informatyka i technologie informacyjne: technologie i systemy informacyjne, informatyka, obliczenia naukowe, systemy inteligentne

Jednostka realizująca:

Politechnika Gdańska, Wydział Elektroniki, Telekomunikacji i Informatyki

woj. pomorskie

Inne projekty tej jednostki 

Kierownik projektu (z jednostki realizującej):

prof. Andrzej Czyżewski 

Liczba wykonawców projektu: 5

Konkurs: OPUS 9 - ogłoszony 2015-03-16

Przyznana kwota: 990 318 PLN

Rozpoczęcie projektu: 2016-02-01

Zakończenie projektu: 2019-06-18

Planowany czas trwania projektu: 40 miesięcy (z wniosku)

Status projektu: Projekt rozliczony

Opis Projektu

Pobierz opis projektu w formacie .pdf

Uwaga - opisy projektów zostały sporządzone przez samych autorów wniosków i w niezmienionej formie umieszczone w systemie.

Zakupiona aparatura

  1. Artykulograf. Za kwotę 243 960 PLN
  2. Sieciowy magazyn danych.
  3. Urządzenie do wizyjnego przechwytywania ruchów mięśni i twarzy.
  4. Zestaw parowanych mikrofonów.

Dane z raportu końcowego/rocznego

  • Publikacje w czasopismach (21)
  • Teksty w publikacjach pokonferencyjnych (22)
  • Publikacje książkowe (2)
  1. Poprawa obiektywnych wskaźników jakości mowy w warunkach hałasu
    Autorzy:
    K. Kąkol, B. Kostek
    Czasopismo:
    Zeszyty Naukowe Wydziału Elektrotechniki i Automatyki Politechniki Gdańskiej (rok: 2018, tom: 60, strony: 45-50), Wydawca: Politechnika Gdańska
    Status:
    Opublikowana
    Doi:
    10.32016/1.60.09 - link do publikacji
  2. Bimodal classification of English allophones employing acoustic speech signal and facial motion capture
    Autorzy:
    A. Czyżewski, S. Zaporowski, B. Kostek
    Czasopismo:
    The Journal of the Acoustical Society of America (rok: 2018, tom: 144, strony: 1801-1802), Wydawca: Acoustical Society of America
    Status:
    Opublikowana
    Doi:
    10.1121/1.5067951 - link do publikacji
  3. Voiceless Stop Consonant Modelling and Synthesis Framework Based on MISO Dynamic System
    Autorzy:
    Korvel G., Kostek B.
    Czasopismo:
    Archives of Acoustics (rok: 2017, tom: No. 3, vol. 42, strony: pp. 375 - 383, 2017), Wydawca: Institut of Fundamental Technological Research, Polish Academy of Sciences
    Status:
    Opublikowana
    Doi:
    10.1515/aoa-2017-0039 - link do publikacji
  4. The role of individual/personal differences in efl pronunciation learning
    Autorzy:
    Magdalena Pospieszyńska-Wojtkowiak
    Czasopismo:
    Journal of linguistic and intercultural education (rok: 2016, tom: Vol. 9 Issue 2, strony: 121-138), Wydawca: Alba luila 2016 Editura AETERNITAS
    Status:
    Opublikowana
    Doi:
    brak - link do publikacji
  5. Bimodal classification of English allophones employing acoustic speech signal and facial motion capture
    Autorzy:
    A. Czyżewski, S. Zaporowski, B. Kostek
    Czasopismo:
    The Journal of the Acoustical Society of America (rok: 2018, tom: 144, strony: 1801-1802), Wydawca: Acoustical Society of America
    Status:
    Opublikowana
    Doi:
    10.1121/1.5067951 - link do publikacji
  6. Rejestracja, parametryzacja i klasyfikacja alofonów z wykorzystaniem bimodalności
    Autorzy:
    Sz Zaporowski, S. Cygert, G. Szwoch, G. Korvel, A. Czyżewski
    Czasopismo:
    Zeszyty Naukowe Wydziału Elektrotechniki i Automatyki Politechniki Gdańskiej (rok: 2018, tom: 1, strony: 135-138), Wydawca: Politechnika Gdańska
    Status:
    Opublikowana
    Doi:
    brak - link do publikacji
  7. Analysis of 2D Feature Spaces for Deep Learning-based Speech Recognition
    Autorzy:
    G. Korvel, P. TREIGYS, G. TAMULEVIÈIUS, J. BERNATAVIÈIENĖ, B. Kostek
    Czasopismo:
    Journal of the Audio Engineering Society (rok: 2018, tom: 66, strony: 1072-1081), Wydawca: Journal of the Audio Engineering Society
    Status:
    Opublikowana
    Doi:
    10.17743/jaes.2018.0066 - link do publikacji
  8. Korpus mowy angielskiej do celów multimodalnego automatycznego rozpoznawania mowy
    Autorzy:
    Szykulski M., Bratoszewski P., Kotus J., Czyżewski A., Kostek B.,
    Czasopismo:
    Przegląd Telekomunikacyjny (rok: 2016, tom: 45878, strony: 1129-1132), Wydawca: Wydawnictwo SIGMA-NOT
    Status:
    Opublikowana
    Doi:
    10.15199/59.2016.8-9.74 - link do publikacji
  9. Analysis of 2D Feature Spaces for Deep Learning-based Speech Recognition
    Autorzy:
    G. Korvel, P. TREIGYS, G. TAMULEVIÈIUS, J. BERNATAVIÈIENĖ, B. Kostek
    Czasopismo:
    Journal of the Audio Engineering Society (rok: 2018, tom: 66, strony: 1072-1081), Wydawca: Journal of the Audio Engineering Society
    Status:
    Opublikowana
    Doi:
    10.17743/jaes.2018.0066 - link do publikacji
  10. A comparative study of English viseme recognition methods and algorithms
    Autorzy:
    Jachimski D., Czyżewski A., Ciszewski T.
    Czasopismo:
    Multimedia Tools and Applications (rok: 2017, tom: 77, strony: 16495-16532), Wydawca: Springer
    Status:
    Opublikowana
    Doi:
    10.1007/s11042-017-5217-5. - link do publikacji
  11. An audio-visual corpus for multimodal automatic speech recognition, Journal of Intelligent Information Systems
    Autorzy:
    Czyżewski, A., Kostek, B., Bratoszewski, P.
    Czasopismo:
    Journal of Intelligent Information Systems (rok: 2017, tom: 49, strony: 167-192), Wydawca: Springer US
    Status:
    Opublikowana
    Doi:
    10.1007/s10844-016-0438-z - link do publikacji
  12. Korpus mowy angielskiej do celów multimodalnego automatycznego rozpoznawania mowy
    Autorzy:
    Szykulski M., Bratoszewski P., Kotus J., Czyżewski A., Kostek B.,
    Czasopismo:
    Przegląd Telekomunikacyjny (rok: 2016, tom: 45878, strony: 1129-1132), Wydawca: Wydawnictwo SIGMA-NOT
    Status:
    Opublikowana
    Doi:
    10.15199/59.2016.8-9.74 - link do publikacji
  13. Poprawa obiektywnych wskaźników jakości mowy w warunkach hałasu
    Autorzy:
    K. Kąkol, B. Kostek
    Czasopismo:
    Zeszyty Naukowe Wydziału Elektrotechniki i Automatyki Politechniki Gdańskiej (rok: 2018, tom: 60, strony: 45-50), Wydawca: Politechnika Gdańska
    Status:
    Opublikowana
    Doi:
    10.32016/1.60.09 - link do publikacji
  14. Voiceless Stop Consonant Modelling and Synthesis Framework Based on MISO Dynamic System
    Autorzy:
    Korvel G., Kostek B.
    Czasopismo:
    Archives of Acoustics (rok: 2017, tom: No. 3, vol. 42, strony: pp. 375 - 383, 2017), Wydawca: Institut of Fundamental Technological Research, Polish Academy of Sciences
    Status:
    Opublikowana
    Doi:
    10.1515/aoa-2017-0039 - link do publikacji
  15. Visual perception of vowels from static and dynamic cues
    Autorzy:
    A. Rojczyk, T. Ciszewski, G. Szwoch, A. Czyżewski
    Czasopismo:
    The Journal of the Acoustical Society of America (rok: 2018, tom: 143, strony: 328-332), Wydawca: Acoustical Society of America
    Status:
    Opublikowana
    Doi:
    10.1121/1.5036958 - link do publikacji
  16. The role of individual/personal differences in efl pronunciation learning
    Autorzy:
    Magdalena Pospieszyńska-Wojtkowiak
    Czasopismo:
    Journal of linguistic and intercultural education (rok: 2016, tom: Vol. 9 Issue 2, strony: 121-138), Wydawca: Alba luila 2016 Editura AETERNITAS
    Status:
    Opublikowana
  17. Database of speech and facial expressions recorded with optimized face motion capture settings
    Autorzy:
    M. Kawaler, A. Czyżewski
    Czasopismo:
    Journal of Intelligent Information Systems (rok: 2019, tom: 1, strony: 1), Wydawca: Springer US
    Status:
    Opublikowana
    Doi:
    10.1007/s10844-019-00547-y - link do publikacji
  18. Database of speech and facial expressions recorded with optimized face motion capture settings
    Autorzy:
    M. Kawaler, A. Czyżewski
    Czasopismo:
    Journal of Intelligent Information Systems (rok: 2019, tom: 1, strony: 1), Wydawca: Springer US
    Status:
    Opublikowana
    Doi:
    10.1007/s10844-019-00547-y - link do publikacji
  19. An audio-visual corpus for multimodal automatic speech recognition, Journal of Intelligent Information Systems
    Autorzy:
    Czyżewski, A., Kostek, B., Bratoszewski, P.
    Czasopismo:
    Journal of Intelligent Information Systems (rok: 2017, tom: 49, strony: 167-192), Wydawca: Springer US
    Status:
    Opublikowana
    Doi:
    10.1007/s10844-016-0438-z - link do publikacji
  20. Rejestracja, parametryzacja i klasyfikacja alofonów z wykorzystaniem bimodalności
    Autorzy:
    Sz Zaporowski, S. Cygert, G. Szwoch, G. Korvel, A. Czyżewski
    Czasopismo:
    Zeszyty Naukowe Wydziału Elektrotechniki i Automatyki Politechniki Gdańskiej (rok: 2018, tom: 1, strony: 135-138), Wydawca: Politechnika Gdańska
    Status:
    Opublikowana
  21. Visual perception of vowels from static and dynamic cues
    Autorzy:
    A. Rojczyk, T. Ciszewski, G. Szwoch, A. Czyżewski
    Czasopismo:
    The Journal of the Acoustical Society of America (rok: 2018, tom: 143, strony: 328-332), Wydawca: Acoustical Society of America
    Status:
    Opublikowana
    Doi:
    10.1121/1.5036958 - link do publikacji
  1. Audio-visual aspect of Lombard effect and comparison with recordings depicting emotional states.
    Autorzy:
    Sz Zaporowski, B. Kostek, J. Gołębiewska, J. Piltz
    Konferencja:
    SPA 2018 Signal Processing Algorithms, Architectures, Arrangements and Applications (rok: 2018, ), Wydawca: IEEE
    Data:
    konferencja 19.9.2018- 21.9.2018
    Status:
    Opublikowana
  2. Methodology and technology for the polymodal allophonic speech transcription
    Autorzy:
    Ciszewski T., Czyżewski A., Kostek B.
    Konferencja:
    The Journal of the Acoustical Society of America (rok: 2016, ), Wydawca: Acoustical Society of America
    Data:
    konferencja 23-27 maj 2016
    Status:
    Opublikowana
  3. Analysis of allophones based on audio signal recordings and parameterization
    Autorzy:
    Czyżewski A., Piotrowska M., Kostek B.
    Konferencja:
    173rd Meeting of the Acoustical Society of America (rok: 2017, ), Wydawca: Acoustical Society of America
    Data:
    konferencja 25-29.06.2017
    Status:
    Opublikowana
  4. Material for Automatic Phonetic Transcription of Speech Recorded in Various Conditions
    Autorzy:
    Kostek B., Plewa M., Czyżewski A.
    Konferencja:
    141 Audio Eng. Soc. Convention (rok: 2016, ), Wydawca: Audio Engineering Society
    Data:
    konferencja 29.9.2016 - 2.10.2016
    Status:
    Opublikowana
  5. Automatic Marking of Allophone Boundaries in Isolated English Spoken Words
    Autorzy:
    Janusz Rafałko, Andrzej Czyżewski
    Konferencja:
    International Conference on Computer Information Systems and Industrial Management (rok: 2020, ), Wydawca: Springer, Cham
    Data:
    konferencja 16-18.10.2020
    Status:
    Opublikowana
  6. Audio-visual aspect of Lombard effect and comparison with recordings depicting emotional states.
    Autorzy:
    Sz Zaporowski, B. Kostek, J. Gołębiewska, J. Piltz
    Konferencja:
    SPA 2018 Signal Processing Algorithms, Architectures, Arrangements and Applications (rok: 2018, ), Wydawca: IEEE
    Data:
    konferencja 19.9.2018- 21.9.2018
    Status:
    Opublikowana
  7. Examining Feature Vector for Phoneme Recognition
    Autorzy:
    Korvel G., Kostek B.
    Konferencja:
    ISSPIT 2017, 17th IEEE International Symposium on Signal Processing and Information Technology (rok: 2017, ), Wydawca: IEEE
    Data:
    konferencja 18.12.2017 - 20.12.2017
    Status:
    Opublikowana
  8. Machine Learning Applied to Aspirated and Non-Aspirated Allophone Classification—An Approach Based on Audio "Fingerprinting"
    Autorzy:
    M. Piotrowska, G. Korvel, A. Kurowski, B. Kostek, A. Czyżewski
    Konferencja:
    145 Audio Engineering Society Convention (rok: 2018, ), Wydawca: Audio Engineering Society
    Data:
    konferencja 17.10.2018- 20.10.2018
    Status:
    Opublikowana
  9. Selection of Features for Multimodal Vocalic Segments Classification
    Autorzy:
    Sz Zaporowski, A. Czyżewski
    Konferencja:
    11th International Conference on Multimedia & Network Information Systems (rok: 2018, ), Wydawca: Springer
    Data:
    konferencja 12.9.2018- 14.9.2018
    Status:
    Opublikowana
  10. Machine Learning Applied to Aspirated and Non-Aspirated Allophone Classification—An Approach Based on Audio "Fingerprinting"
    Autorzy:
    M. Piotrowska, G. Korvel, A. Kurowski, B. Kostek, A. Czyżewski
    Konferencja:
    145 Audio Engineering Society Convention (rok: 2018, ), Wydawca: Audio Engineering Society
    Data:
    konferencja 17.10.2018- 20.10.2018
    Status:
    Opublikowana
  11. Comparative Study of Self-Organizing Maps vs. Subjective Evaluation of Quality of Allophone Pronunciation for Nonnative English Speakers
    Autorzy:
    Kostek B., Piotrowska M., Czyżewski A.
    Konferencja:
    143rd Audio Engineering Society Convention (rok: 2017, ), Wydawca: Audio Engineering Society
    Data:
    konferencja 18-21.10.2017
    Status:
    Opublikowana
  12. Building Knowledge for the Purpose of Lip Speech Identification
    Autorzy:
    Czyżewski A., Kostek B., Szykulski M., Ciszewski T.E.
    Konferencja:
    10th International Conference on Multimedia & Network Information Systems (rok: 2016, ), Wydawca: Springer US
    Data:
    konferencja 17.08.2016
    Status:
    Opublikowana
  13. Vocalic Segments Classification Assisted by Mouth Motion Capture
    Autorzy:
    S. Cygert, G. Szwoch, S. Zaporowski, A. Czyżewski
    Konferencja:
    2018 11th International Conference on Human System Interaction (HSI) (rok: 2018, ), Wydawca: IEEE
    Data:
    konferencja 04.07.2018
    Status:
    Opublikowana
  14. Selection of Features for Multimodal Vocalic Segments Classification
    Autorzy:
    Sz Zaporowski, A. Czyżewski
    Konferencja:
    11th International Conference on Multimedia & Network Information Systems (rok: 2018, ), Wydawca: Springer
    Data:
    konferencja 12.9.2018- 14.9.2018
    Status:
    Opublikowana
  15. Objectivization of phonological evaluation of speech elements by means of audio parametrization
    Autorzy:
    M. Piotrowska, G. Korvel, B. Kostek, A. Rojczyk, A. Czyżewski
    Konferencja:
    2018 11th International Conference on Human System Interaction (HSI) (rok: 2018, ), Wydawca: IEEE
    Data:
    konferencja 04.07.2018-06.07.2018
    Status:
    Opublikowana
  16. Marking the Allophones Boundaries Based on the DTW Algorithm
    Autorzy:
    J. Rafałko
    Konferencja:
    SPA 2018 Signal Processing Algorithms, Architectures, Arrangements and Applications (rok: 2018, ), Wydawca: IEEE
    Data:
    konferencja 19.9.2018- 21.9.2018
    Status:
    Opublikowana
  17. Vocalic Segments Classification Assisted by Mouth Motion Capture
    Autorzy:
    S. Cygert, G. Szwoch, S. Zaporowski, A. Czyżewski
    Konferencja:
    2018 11th International Conference on Human System Interaction (HSI) (rok: 2018, ), Wydawca: IEEE
    Data:
    konferencja 04.07.2018
    Status:
    Opublikowana
  18. Objectivization of phonological evaluation of speech elements by means of audio parametrization
    Autorzy:
    M. Piotrowska, G. Korvel, B. Kostek, A. Rojczyk, A. Czyżewski
    Konferencja:
    2018 11th International Conference on Human System Interaction (HSI) (rok: 2018, ), Wydawca: IEEE
    Data:
    konferencja 04.07.2018-06.07.2018
    Status:
    Opublikowana
  19. Marking the Allophones Boundaries Based on the DTW Algorithm
    Autorzy:
    J. Rafałko
    Konferencja:
    SPA 2018 Signal Processing Algorithms, Architectures, Arrangements and Applications (rok: 2018, ), Wydawca: IEEE
    Data:
    konferencja 19.9.2018- 21.9.2018
    Status:
    Opublikowana
  20. Adjusting automatically marked voiced English allophone borders
    Autorzy:
    J. Rafałko. A. Czyżewski
    Konferencja:
    Signal Processing Algorithms, Architectures, Arrangements and Applications (SPA) 2019 (rok: 2019, ), Wydawca: IEEE
    Data:
    konferencja 18-20.09.2019
    Status:
    Opublikowana
  21. Determining Pronunciation Differences in English Allophones Utilizing Audio Signal Parameterization
    Autorzy:
    Kostek B., Piotrowska M., Ciszewski T., Czyżewski A.
    Konferencja:
    142nd Audio Engineering Society Convention (rok: 2017, ), Wydawca: Audio Engineering Society
    Data:
    konferencja 20.05-23.05.2017
    Status:
    Opublikowana
  22. Adjusting automatically marked voiced English allophone borders
    Autorzy:
    J. Rafałko. A. Czyżewski
    Konferencja:
    Signal Processing Algorithms, Architectures, Arrangements and Applications (SPA) 2019 (rok: 2019, ), Wydawca: IEEE
    Data:
    konferencja 18-20.09.2019
    Status:
    Opublikowana
  1. Speech analytics based on machine learning
    Autorzy:
    G. Korvel, A. Kurowski, B. Kostek, A. Czyżewski
    Książka:
    Intelligent Systems Reference Library (rok: 2018, tom: 149, strony: 129-157), Wydawca: Springer International Publishing AG
    Status:
    Opublikowana
  2. Speech analytics based on machine learning
    Autorzy:
    G. Korvel, A. Kurowski, B. Kostek, A. Czyżewski
    Książka:
    Intelligent Systems Reference Library (rok: 2018, tom: 149, strony: 129-157), Wydawca: Springer International Publishing AG
    Status:
    Opublikowana

O Narodowym Centrum Nauki

Finansowanie nauki

Współpraca zagraniczna

Centrum prasowe

Deklaracja dostępności
Przetwarzanie danych osobowych
Polityka cookies

Partnerzy