osdir.com

[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

Re: [PROPOSAL] Prepare Beam 2.9.0 release


Would it be possible to cherry pick this patch into 2.9? It removes forgotten kryo dependency from Euphoria DSL, which we don't want user to start depending on, unless beam-sdks-java-extension-kryo dependency is explicitly used.


Thanks,
D.

On Tue, Dec 4, 2018 at 6:52 AM Chamikara Jayalath <chamikara@xxxxxxxxxx> wrote:
Update:

All runners except Dataflow passed quickstart validation on the release branch.

Dataflow validation is blocked due to a Google internal issue that prevents building Dataflow containers based on latest code. Created blocker https://issues.apache.org/jira/browse/BEAM-6173 since release is essentially blocked by this.

I'll validate DataflowRunner and create a release candidate when when this blocker is resolved.

Thanks,
Cham

On Mon, Dec 3, 2018 at 7:53 AM Chamikara Jayalath <chamikara@xxxxxxxxxx> wrote:
I've been running tests on the existing branch. Will try to cut a candidate today.

Seems like this is a small fix that fixes a flake. So feel free to send a cherry-pick.

Thanks,
Cham

On Mon, Dec 3, 2018 at 4:28 AM Maximilian Michels <mxm@xxxxxxxxxx> wrote:
How far are we with the release? If the release branch hasn't been
frozen, I'd like to cherry-pick
https://github.com/apache/beam/pull/7171/files

Thanks,
Max

On 30.11.18 04:17, Lukasz Cwik wrote:
> I got to thank Steve Niemitz for double checking my work and pointing
> out an error which helped narrow down the BEAM-6102 issue.
>
> On Thu, Nov 29, 2018 at 2:05 PM Chamikara Jayalath <chamikara@xxxxxxxxxx
> <mailto:chamikara@xxxxxxxxxx>> wrote:
>
>     Blockers were resolved and fixes were cherry-picked to the release
>     branch. I'll continue the release process.
>
>     Thanks,
>     Cham
>
>     On Mon, Nov 26, 2018 at 10:50 AM Lukasz Cwik <lcwik@xxxxxxxxxx
>     <mailto:lcwik@xxxxxxxxxx>> wrote:
>
>         I'm working on BEAM-6102 and after 12 hours on the issue I have
>         not made much real progress. I initially suspected its a shading
>         issue with the Dataflow worker jar but can't reproduce the issue
>         without running a full Dataflow pipeline. Any help would
>         be appreciated, context of what I have tried is on the JIRA and
>         you can reach out to me on Slack.
>
>         On Mon, Nov 26, 2018 at 9:50 AM Chamikara Jayalath
>         <chamikara@xxxxxxxxxx <mailto:chamikara@xxxxxxxxxx>> wrote:
>
>             Hi All,
>
>             Currently there are two blockers for the 2.9.0 release.
>
>             * Dataflow cannot deserialize DoFns -
>             https://issues.apache.org/jira/browse/BEAM-6102
>             * [SQL] Nexmark 5, 7 time out -
>             https://issues.apache.org/jira/browse/BEAM-6082
>
>             We'll postpone cutting the release candidate till these
>             issues are resolved.
>
>             Thanks,
>             Cham
>
>
>             On Wed, Nov 21, 2018 at 1:22 PM Kenneth Knowles
>             <kenn@xxxxxxxxxx <mailto:kenn@xxxxxxxxxx>> wrote:
>
>                 You could `git checkout -b release-2.9.0
>                 <known-good-hash>`. But cherrypicking fixes is also easy.
>
>                 Kenn
>
>                 On Wed, Nov 21, 2018 at 1:06 PM Chamikara Jayalath
>                 <chamikara@xxxxxxxxxx <mailto:chamikara@xxxxxxxxxx>> wrote:
>
>                     I went through Jenkins test suites and failures
>                     seems to be known issues with JIRAs that are release
>                     blockers. So we'll cherry-pick fixes to these.
>                     In general though I think it might be hard to pick
>                     an exact "green" time for cutting the release just
>                     by eyeballing since different test suites run at
>                     different times.
>
>                     - Cham
>
>
>
>                     On Wed, Nov 21, 2018 at 12:59 PM Valentyn Tymofieiev
>                     <valentyn@xxxxxxxxxx <mailto:valentyn@xxxxxxxxxx>>
>                     wrote:
>
>                         It looks like 2.9.0 branch includes commits from
>                         https://github.com/apache/beam/pull/7029, which
>                         break Python Postcommit Test suite. Rollback is
>                         in flight:
>                         https://github.com/apache/beam/pull/7107, and
>                         will need to be cherry-picked to release branch.
>
>                         I think we should try to adjust release branch
>                         cutting process so that all relevant test suites
>                         pass on the release branch when we cut it.
>
>                         On Wed, Nov 21, 2018 at 11:31 AM Chamikara
>                         Jayalath <chamikara@xxxxxxxxxx
>                         <mailto:chamikara@xxxxxxxxxx>> wrote:
>
>                             Release branch was cut:
>                             https://github.com/apache/beam/tree/release-2.9.0
>                             Please cherry-pick fixes to 2.9.0 blockers
>                             to this branch.
>
>                             Thanks,
>                             Cham
>
>                             On Tue, Nov 20, 2018 at 9:00 PM
>                             Jean-Baptiste Onofré <jb@xxxxxxxxxxxx
>                             <mailto:jb@xxxxxxxxxxxx>> wrote:
>
>                                 Hi Cham,
>
>                                 it sounds good to me.
>
>                                 I'm resuming some works on IOs but
>                                 nothing blocker.
>
>                                 Regards
>                                 JB
>
>                                 On 21/11/2018 03:59, Chamikara Jayalath
>                                 wrote:
>                                  > Hi All,
>                                  >
>                                  > Looks like there are three blockers
>                                 in the burndown list but they are
>                                  > actively being worked on.
>                                  >
>                                  > If there's no objection I'll create
>                                 the release branch tomorrow morning.
>                                  > We can cherry-pick fixes to the
>                                 blockers before building the first RC
>                                  > hopefully on Monday.
>                                  >
>                                  > Thanks,
>                                  > Cham
>                                  >
>                                  >
>                                  > On Sat, Nov 17, 2018 at 10:38 AM
>                                 Kenneth Knowles <kenn@xxxxxxxxxx
>                                 <mailto:kenn@xxxxxxxxxx>
>                                  > <mailto:kenn@xxxxxxxxxx
>                                 <mailto:kenn@xxxxxxxxxx>>> wrote:
>                                  >
>                                  >
>                                  >
>                                  >     On Fri, Nov 16, 2018, 18:25
>                                 Thomas Weise <thw@xxxxxxxxxx
>                                 <mailto:thw@xxxxxxxxxx>
>                                  >     <mailto:thw@xxxxxxxxxx
>                                 <mailto:thw@xxxxxxxxxx>> wrote:
>                                  >
>                                  >
>                                  >
>                                  >         On Thu, Nov 15, 2018 at 10:53
>                                 PM Charles Chen <ccy@xxxxxxxxxx
>                                 <mailto:ccy@xxxxxxxxxx>
>                                  >         <mailto:ccy@xxxxxxxxxx
>                                 <mailto:ccy@xxxxxxxxxx>>> wrote:
>                                  >
>                                  >             +1
>                                  >
>                                  >             Note that we need to
>                                 temporarily revert
>                                  >
>                                 https://github.com/apache/beam/pull/6683
>                                 before the release
>                                  >             branch cut per the discussion
>                                  >             at
>                                 https://lists.apache.org/thread.html/78fe33dc41b04886f5355d66d50359265bfa2985580bb70f79c53545@%3Cdev.beam.apache.org%3E
>                                  >
>                                  >
>                                  >         Since it is for the release I
>                                 would prefer this to be done in
>                                  >         the release branch, and not
>                                 in master.
>                                  >
>                                  >
>                                  >     +1 do it (and all remaining
>                                 burndown) on the release branch.
>                                  >     Tracking Jira targeting 2.9.0?
>                                  >
>                                  >     Kenn
>                                  >
>                                  >
>                                  >
>                                  >
>                                  >
>                                  >
>                                  >
>                                  >
>                                  >
>                                  >             On Thu, Nov 15, 2018 at
>                                 9:18 PM Tim
>                                  >           
>                                   <timrobertson100@xxxxxxxxx
>                                 <mailto:timrobertson100@xxxxxxxxx>
>                                  >           
>                                   <mailto:timrobertson100@xxxxxxxxx
>                                 <mailto:timrobertson100@xxxxxxxxx>>> wrote:
>                                  >
>                                  >                 Thanks Cham
>                                  >                 +1
>                                  >
>                                  >                 On 16 Nov 2018, at
>                                 05:30, Thomas Weise <thw@xxxxxxxxxx
>                                 <mailto:thw@xxxxxxxxxx>
>                                  >               
>                                   <mailto:thw@xxxxxxxxxx
>                                 <mailto:thw@xxxxxxxxxx>>> wrote:
>                                  >
>                                  >>                 +1
>                                  >>
>                                  >>
>                                  >>                 On Thu, Nov 15, 2018
>                                 at 4:34 PM Ahmet Altay
>                                  >>                 <altay@xxxxxxxxxx
>                                 <mailto:altay@xxxxxxxxxx>
>                                 <mailto:altay@xxxxxxxxxx
>                                 <mailto:altay@xxxxxxxxxx>>> wrote:
>                                  >>
>                                  >>                     +1 Thank you.
>                                  >>
>                                  >>                     On Thu, Nov 15,
>                                 2018 at 4:22 PM, Kenneth Knowles
>                                  >>                     <kenn@xxxxxxxxxx
>                                 <mailto:kenn@xxxxxxxxxx>
>                                 <mailto:kenn@xxxxxxxxxx
>                                 <mailto:kenn@xxxxxxxxxx>>> wrote:
>                                  >>
>                                  >>                         SGTM. Thanks
>                                 for keeping track of the schedule.
>                                  >>
>                                  >>                         Kenn
>                                  >>
>                                  >>                         On Thu, Nov
>                                 15, 2018 at 1:59 PM Chamikara
>                                  >>                         Jayalath
>                                 <chamikara@xxxxxxxxxx
>                                 <mailto:chamikara@xxxxxxxxxx>
>                                  >>                       
>                                   <mailto:chamikara@xxxxxxxxxx
>                                 <mailto:chamikara@xxxxxxxxxx>>> wrote:
>                                  >>
>                                  >>                             Hi All,
>                                  >>
>                                  >>                           
>                                   According to the release calendar [1]
>                                  >>                             branch
>                                 cut date for Beam 2.9.0 release is
>                                  >>                           
>                                   11/21/2018. Since previous release branch
>                                  >>                             was cut
>                                 close to the respective calendar
>                                  >>                             date I'd
>                                 like to propose cutting release
>                                  >>                             branch
>                                 for 2.9.0 on 11/21/2018. Next week
>                                  >>                             is
>                                 Thanksgiving holiday in US and possibly
>                                  >>                             some
>                                 folks will be out so we can try to
>                                  >>                             produce
>                                 RC1 on Monday after (11/26/2018).
>                                  >>                             We can
>                                 attend to current blocker JIRAs [2]
>                                  >>                             in the
>                                 meantime.
>                                  >>
>                                  >>                             I'd like
>                                 to volunteer to perform this release.
>                                  >>
>                                  >>                             WDYT ?
>                                  >>
>                                  >>                             Thanks,
>                                  >>                             Cham
>                                  >>
>                                  >>                             [1]
>                                 https://calendar.google.com/calendar/embed?src="">
>                                  >>                             [2]
>                                 
https://s.apache.org/beam-2.9.0-burndown
>                                  >>
>                                  >>
>
>                                 --
>                                 Jean-Baptiste Onofré
>                                 jbonofre@xxxxxxxxxx
>                                 <mailto:jbonofre@xxxxxxxxxx>
>                                 http://blog.nanthrax.net
>                                 Talend - http://www.talend.com
>