Sifrei Devarim 168

וכי יבא הלוי (הוא). יכול בבן לוי ודאי הכתוב מדבר? תלמוד לומר (מאחד שעריך, משלא נטלו שעריהם במקום אחד, יצאו לוים שנטלו שעריהם במקום אחד.) ושרת, בראוי לשירות. יצאו לוים שאינם ראוים לשירות.

(Devarim 18:6) "And if the Levite come": I might think that Scripture speaks of a Levite per se; it is, therefore, written (7) "And he shall serve" — (Scripture speaks of) those who are qualified to serve (i.e., the Cohanim, who perform the sacrificial service), to exclude the Levites, who are not thus qualified.

מכל ישראל אשר הוא גר שם. מכל מקומות מושבותיהם.

"from all of Israel wherein he lives": in all of the places of their dwellings":

ובא בכל אות נפשו. מנין [לכהן שבא ומקריב קרבנותיהם בכל עת ובכל שעה שירצה? תלמוד לומר ובא בכל אות נפשו. מנין] אתה אומר, שכהן בא ונושא את כפיו, במשמר [שאינו] שלו? תלמוד לומר ובא בכל אות נפשו [ושרת בשם ה', איזה שירות שהוא בשם ה'? זה ברכת כהנים.]

Whence is it derived that a Cohein may come and offer his (own) sacrifices whenever he wishes (though his watch not be officiating at that time)? From "then he shall come in all the desire of his soul … (7) and he shall serve." Whence is it derived that a Cohein may come and lift his hands (in the priestly blessing) in a watch that is not his? From "then he shall come in all the desire of his soul … and he shall serve in the name of the L-rd his G-d." Which is service in the name of the L-rd? The priestly blessing.

(מכאן) [מנין] אתה אומר, (סוכה נה) שכל המשמרות שוים בקרבנות הרגל הבאים מחמת הרגל? שנאמר ובא בכל אות נפשו אל המקום אשר יבחר ה'. יכול לעולם? תלמוד לומר מאחד שעריך. בשעה שישראל נכנסים בשער אחד, בשלש רגלים.

Whence is it derived that all the priestly watches share equally in the (devoted portions of the) offerings of the festival? From (6) "then he shall come in all the desire of his soul to the place that the L-rd shall choose." I might think that the same holds true for all the days of the year; it is, therefore, written (6) "from one of your gates" — when all of Israel are assembled within one gate, i.e., during the three festivals.