osdir.com

[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

Re: [PROPOSAL] Prepare Beam 2.9.0 release


I don’t think it is a blocker. If you already did RC cut, please ignore this.

Thanks,
D.

Sent from my iPhone

On 5 Dec 2018, at 11:03, Chamikara Jayalath <chamikara@xxxxxxxxxx> wrote:

Hi David,

I have already build the RC1 and started running some tests.

 Do you think this is a blocker ? If not, I think we should hold it till 2.10 (approx. 4 - 6 weeks). If you think it's a blocker I can build the candidate again and run tests.

Thanks,
Cham

On Wed, Dec 5, 2018 at 1:37 AM David Morávek <dmvk@xxxxxxxxxx> wrote:
Would it be possible to cherry pick this patch into 2.9? It removes forgotten kryo dependency from Euphoria DSL, which we don't want user to start depending on, unless beam-sdks-java-extension-kryo dependency is explicitly used.


Thanks,
D.

On Tue, Dec 4, 2018 at 6:52 AM Chamikara Jayalath <chamikara@xxxxxxxxxx> wrote:
Update:

All runners except Dataflow passed quickstart validation on the release branch.

Dataflow validation is blocked due to a Google internal issue that prevents building Dataflow containers based on latest code. Created blocker https://issues.apache.org/jira/browse/BEAM-6173 since release is essentially blocked by this.

I'll validate DataflowRunner and create a release candidate when when this blocker is resolved.

Thanks,
Cham

On Mon, Dec 3, 2018 at 7:53 AM Chamikara Jayalath <chamikara@xxxxxxxxxx> wrote:
I've been running tests on the existing branch. Will try to cut a candidate today.

Seems like this is a small fix that fixes a flake. So feel free to send a cherry-pick.

Thanks,
Cham

On Mon, Dec 3, 2018 at 4:28 AM Maximilian Michels <mxm@xxxxxxxxxx> wrote:
How far are we with the release? If the release branch hasn't been
frozen, I'd like to cherry-pick
https://github.com/apache/beam/pull/7171/files

Thanks,
Max

On 30.11.18 04:17, Lukasz Cwik wrote:
> I got to thank Steve Niemitz for double checking my work and pointing
> out an error which helped narrow down the BEAM-6102 issue.
>
> On Thu, Nov 29, 2018 at 2:05 PM Chamikara Jayalath <chamikara@xxxxxxxxxx
> <mailto:chamikara@xxxxxxxxxx>> wrote:
>
>     Blockers were resolved and fixes were cherry-picked to the release
>     branch. I'll continue the release process.
>
>     Thanks,
>     Cham
>
>     On Mon, Nov 26, 2018 at 10:50 AM Lukasz Cwik <lcwik@xxxxxxxxxx
>     <mailto:lcwik@xxxxxxxxxx>> wrote:
>
>         I'm working on BEAM-6102 and after 12 hours on the issue I have
>         not made much real progress. I initially suspected its a shading
>         issue with the Dataflow worker jar but can't reproduce the issue
>         without running a full Dataflow pipeline. Any help would
>         be appreciated, context of what I have tried is on the JIRA and
>         you can reach out to me on Slack.
>
>         On Mon, Nov 26, 2018 at 9:50 AM Chamikara Jayalath
>         <chamikara@xxxxxxxxxx <mailto:chamikara@xxxxxxxxxx>> wrote:
>
>             Hi All,
>
>             Currently there are two blockers for the 2.9.0 release.
>
>             * Dataflow cannot deserialize DoFns -
>             https://issues.apache.org/jira/browse/BEAM-6102
>             * [SQL] Nexmark 5, 7 time out -
>             https://issues.apache.org/jira/browse/BEAM-6082
>
>             We'll postpone cutting the release candidate till these
>             issues are resolved.
>
>             Thanks,
>             Cham
>
>
>             On Wed, Nov 21, 2018 at 1:22 PM Kenneth Knowles
>             <kenn@xxxxxxxxxx <mailto:kenn@xxxxxxxxxx>> wrote:
>
>                 You could `git checkout -b release-2.9.0
>                 <known-good-hash>`. But cherrypicking fixes is also easy.
>
>                 Kenn
>
>                 On Wed, Nov 21, 2018 at 1:06 PM Chamikara Jayalath
>                 <chamikara@xxxxxxxxxx <mailto:chamikara@xxxxxxxxxx>> wrote:
>
>                     I went through Jenkins test suites and failures
>                     seems to be known issues with JIRAs that are release
>                     blockers. So we'll cherry-pick fixes to these.
>                     In general though I think it might be hard to pick
>                     an exact "green" time for cutting the release just
>                     by eyeballing since different test suites run at
>                     different times.
>
>                     - Cham
>
>
>
>                     On Wed, Nov 21, 2018 at 12:59 PM Valentyn Tymofieiev
>                     <valentyn@xxxxxxxxxx <mailto:valentyn@xxxxxxxxxx>>
>                     wrote:
>
>                         It looks like 2.9.0 branch includes commits from
>                         https://github.com/apache/beam/pull/7029, which
>                         break Python Postcommit Test suite. Rollback is
>                         in flight:
>                         https://github.com/apache/beam/pull/7107, and
>                         will need to be cherry-picked to release branch.
>
>                         I think we should try to adjust release branch
>                         cutting process so that all relevant test suites
>                         pass on the release branch when we cut it.
>
>                         On Wed, Nov 21, 2018 at 11:31 AM Chamikara
>                         Jayalath <chamikara@xxxxxxxxxx
>                         <mailto:chamikara@xxxxxxxxxx>> wrote:
>
>                             Release branch was cut:
>                             https://github.com/apache/beam/tree/release-2.9.0
>                             Please cherry-pick fixes to 2.9.0 blockers
>                             to this branch.
>
>                             Thanks,
>                             Cham
>
>                             On Tue, Nov 20, 2018 at 9:00 PM
>                             Jean-Baptiste Onofré <jb@xxxxxxxxxxxx
>                             <mailto:jb@xxxxxxxxxxxx>> wrote:
>
>                                 Hi Cham,
>
>                                 it sounds good to me.
>
>                                 I'm resuming some works on IOs but
>                                 nothing blocker.
>
>                                 Regards
>                                 JB
>
>                                 On 21/11/2018 03:59, Chamikara Jayalath
>                                 wrote:
>                                  > Hi All,
>                                  >
>                                  > Looks like there are three blockers
>                                 in the burndown list but they are
>                                  > actively being worked on.
>                                  >
>                                  > If there's no objection I'll create
>                                 the release branch tomorrow morning.
>                                  > We can cherry-pick fixes to the
>                                 blockers before building the first RC
>                                  > hopefully on Monday.
>                                  >
>                                  > Thanks,
>                                  > Cham
>                                  >
>                                  >
>                                  > On Sat, Nov 17, 2018 at 10:38 AM
>                                 Kenneth Knowles <kenn@xxxxxxxxxx
>                                 <mailto:kenn@xxxxxxxxxx>
>                                  > <mailto:kenn@xxxxxxxxxx
>                                 <mailto:kenn@xxxxxxxxxx>>> wrote:
>                                  >
>                                  >
>                                  >
>                                  >     On Fri, Nov 16, 2018, 18:25
>                                 Thomas Weise <thw@xxxxxxxxxx
>                                 <mailto:thw@xxxxxxxxxx>
>                                  >     <mailto:thw@xxxxxxxxxx
>                                 <mailto:thw@xxxxxxxxxx>> wrote:
>                                  >
>                                  >
>                                  >
>                                  >         On Thu, Nov 15, 2018 at 10:53
>                                 PM Charles Chen <ccy@xxxxxxxxxx
>                                 <mailto:ccy@xxxxxxxxxx>
>                                  >         <mailto:ccy@xxxxxxxxxx
>                                 <mailto:ccy@xxxxxxxxxx>>> wrote:
>                                  >
>                                  >             +1
>                                  >
>                                  >             Note that we need to
>                                 temporarily revert
>                                  >
>                                 https://github.com/apache/beam/pull/6683
>                                 before the release
>                                  >             branch cut per the discussion
>                                  >             at
>                                 https://lists.apache.org/thread.html/78fe33dc41b04886f5355d66d50359265bfa2985580bb70f79c53545@%3Cdev.beam.apache.org%3E
>                                  >
>                                  >
>                                  >         Since it is for the release I
>                                 would prefer this to be done in
>                                  >         the release branch, and not
>                                 in master.
>                                  >
>                                  >
>                                  >     +1 do it (and all remaining
>                                 burndown) on the release branch.
>                                  >     Tracking Jira targeting 2.9.0?
>                                  >
>                                  >     Kenn
>                                  >
>                                  >
>                                  >
>                                  >
>                                  >
>                                  >
>                                  >
>                                  >
>                                  >
>                                  >             On Thu, Nov 15, 2018 at
>                                 9:18 PM Tim
>                                  >           
>                                   <timrobertson100@xxxxxxxxx
>                                 <mailto:timrobertson100@xxxxxxxxx>
>                                  >           
>                                   <mailto:timrobertson100@xxxxxxxxx
>                                 <mailto:timrobertson100@xxxxxxxxx>>> wrote:
>                                  >
>                                  >                 Thanks Cham
>                                  >                 +1
>                                  >
>                                  >                 On 16 Nov 2018, at
>                                 05:30, Thomas Weise <thw@xxxxxxxxxx
>                                 <mailto:thw@xxxxxxxxxx>
>                                  >               
>                                   <mailto:thw@xxxxxxxxxx
>                                 <mailto:thw@xxxxxxxxxx>>> wrote:
>                                  >
>                                  >>                 +1
>                                  >>
>                                  >>
>                                  >>                 On Thu, Nov 15, 2018
>                                 at 4:34 PM Ahmet Altay
>                                  >>                 <altay@xxxxxxxxxx
>                                 <mailto:altay@xxxxxxxxxx>
>                                 <mailto:altay@xxxxxxxxxx
>                                 <mailto:altay@xxxxxxxxxx>>> wrote:
>                                  >>
>                                  >>                     +1 Thank you.
>                                  >>
>                                  >>                     On Thu, Nov 15,
>                                 2018 at 4:22 PM, Kenneth Knowles
>                                  >>                     <kenn@xxxxxxxxxx
>                                 <mailto:kenn@xxxxxxxxxx>
>                                 <mailto:kenn@xxxxxxxxxx
>                                 <mailto:kenn@xxxxxxxxxx>>> wrote:
>                                  >>
>                                  >>                         SGTM. Thanks
>                                 for keeping track of the schedule.
>                                  >>
>                                  >>                         Kenn
>                                  >>
>                                  >>                         On Thu, Nov
>                                 15, 2018 at 1:59 PM Chamikara
>                                  >>                         Jayalath
>                                 <chamikara@xxxxxxxxxx
>                                 <mailto:chamikara@xxxxxxxxxx>
>                                  >>                       
>                                   <mailto:chamikara@xxxxxxxxxx
>                                 <mailto:chamikara@xxxxxxxxxx>>> wrote:
>                                  >>
>                                  >>                             Hi All,
>                                  >>
>                                  >>                           
>                                   According to the release calendar [1]
>                                  >>                             branch
>                                 cut date for Beam 2.9.0 release is
>                                  >>                           
>                                   11/21/2018. Since previous release branch
>                                  >>                             was cut
>                                 close to the respective calendar
>                                  >>                             date I'd
>                                 like to propose cutting release
>                                  >>                             branch
>                                 for 2.9.0 on 11/21/2018. Next week
>                                  >>                             is
>                                 Thanksgiving holiday in US and possibly
>                                  >>                             some
>                                 folks will be out so we can try to
>                                  >>                             produce
>                                 RC1 on Monday after (11/26/2018).
>                                  >>                             We can
>                                 attend to current blocker JIRAs [2]
>                                  >>                             in the
>                                 meantime.
>                                  >>
>                                  >>                             I'd like
>                                 to volunteer to perform this release.
>                                  >>
>                                  >>                             WDYT ?
>                                  >>
>                                  >>                             Thanks,
>                                  >>                             Cham
>                                  >>
>                                  >>                             [1]
>                                 https://calendar.google.com/calendar/embed?src="">
>                                  >>                             [2]
>                                 
https://s.apache.org/beam-2.9.0-burndown
>                                  >>
>                                  >>
>
>                                 --
>                                 Jean-Baptiste Onofré
>                                 jbonofre@xxxxxxxxxx
>                                 <mailto:jbonofre@xxxxxxxxxx>
>                                 http://blog.nanthrax.net
>                                 Talend - http://www.talend.com
>